平滑最大值是最大值函数光滑函数。其是一个参数族,在 中,对于每个参数α,函数 都是平滑的。参数族内包含最大值函数,并且平滑最小值的概念也是类似的。 在大多数情况下,一个族满足两个条件:当参数趋向于正无穷大时为函数变为最大值函数,当参数变为负无穷大时函数变为最小值函数;符号表示为: 。平滑最大值也可以用于描述行为类似于最大值函数的其他平滑函数,而不一定必须在此参数族中。

例子

编辑
 
平滑最大值应用于具有各种系数的'-x'和x函数。 非常光滑当  = 0.5,而  = 8更加平滑。

当正值参数较大时,且  ,下列公式是最大函数的平滑函数,可微、近似于最大值函数。 对于绝对值较大的负值参数,其近似最小值函数。

 

 具有以下属性:

  1.   
  2.  是其输入的算术平均值
  3.   

 的梯度近似于softmax函数,由以下公式可得:

 

这使softmax函数使用梯度下降的优化时很有用。

LogSumExp

编辑

另一个平滑最大值函数例子是LogSumExp

 

如果 都是非负的,可产生定义域是 和值域是 的函数 :

 

 项通过消除除零以外的所有零指数使得 ,以及  为零。

p范数函数

编辑

另一个平滑最大值函数是p范数

 

  ,收敛到 

p范数的一个优点是它是一个范数 。 因此,它是“尺度不变”的(同质的):   ,它满足三角不等式。

数值方法

编辑

平滑函数的其他例子

编辑
 

参见

编辑

参考文献

编辑

M. Lange, D. Zühlke, O. Holz, and T. Villmann, "Applications of lp-norms and their smooth approximations for gradient based learning vector quantization," in Proc. ESANN, Apr. 2014, pp. 271-276. (https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-153.pdf页面存档备份,存于互联网档案馆))