斜坡函数是一个一元英语Unary function实函数,因此其图形类似斜坡,故得其名,斜坡函数有许多不同的定义方式,例如“负值时为0,其他值的输出等于输入”。斜坡函数的斜率以及斜坡的位置也可以调整,此条目中的斜坡函数是单位斜坡函数(斜坡斜率为1,从0的位置开始)。

斜坡函数的图

机器学习中,常会称斜坡函数为ReLU激活函数[1][2],或是线性整流函数,类似电子工程中的半波整流器。若用在统计学似然函数,会称为Tobit模型英语tobit model

斜坡函数在数学以及工程上有许多的应用,依使用的情境不同,也有不同的名称。也有不少类似斜坡函数的函数。

定义 编辑

斜坡函数( )可以用许多的解析方式来定义。以下是一些定义:

 

 
 
  • 单位阶跃函数和其本身的卷积
 
  • 单位阶跃函数的积分
 
 

解析性质 编辑

非零性质 编辑

此函数在整个定义域中的值都是非负值,因此其绝对值都是其自身。

 

 

导数 编辑

斜坡函数的导数为单位阶跃函数

 

傅里叶变换 编辑

斜坡函数的傅里叶变换如下

         

其中 狄拉克δ函数(在此公式中,有出现其微分项)

拉普拉斯变换 编辑

斜坡函数的傅里叶变换如下

 单边的拉普拉斯变换定义如下:

 

代数性质 编辑

迭代不变性 编辑

斜坡函数的每个迭代函数都是其自身:
 .

  • 证明:   
       .

此处应用到非零性质

参考资料 编辑

  1. ^ Brownlee, Jason. A Gentle Introduction to the Rectified Linear Unit (ReLU). Machine Learning Mastery. 8 January 2019 [8 April 2021]. 
  2. ^ Liu, Danqing. A Practical Guide to ReLU. Medium. 30 November 2017 [8 April 2021] (英语).