机器学习中的数学——激活函数（四）：Leaky ReLU函数

admin管理员组

文章数量:1794759

机器学习中的数学——激活函数（四）：Leaky ReLU函数

分类目录：《机器学习中的数学》总目录 相关文章： · 激活函数：基础知识 · 激活函数（一）：Sigmoid函数 · 激活函数（二）：双曲正切函数（Tanh函数） · 激活函数（三）： 线性整流函数（ReLU函数） · 激活函数（四）：Leaky ReLU函数 · 激活函数（五）：ELU函数 · 激活函数（六）：Parametric ReLU（PReLU）函数 · 激活函数（七）：Softmax函数 · 激活函数（八）：Swish函数 · 激活函数（九）：Maxout函数 · 激活函数（十）：Softplus函数 · 激活函数（十一）：Softsign函数 · 激活函数（十二）：高斯误差线性单元(GELUs)

它是一种专门设计用于解决Dead ReLU问题的激活函数：

L e a k y R e L U ( x ) = { x , x > 0 α x , x ≤ 0 Leaky ReLU(x)=\\left\\{ \\begin{aligned} x & \\quad ,x > 0 \\\\ \\alpha x & \\quad , x\\leq 0\\\\ \\end{aligned} \\right. LeakyReLU(x)={xαx​,x>0,x≤0​

Leaky ReLU函数的特点：

• Leaky ReLU函数通过把 x x x的非常小的线性分量给予负输入 0.01 x 0.01x 0.01x来调整负值的零梯度问题。
• Leaky有助于扩大ReLU函数的范围，通常 α \\alpha α的值为0.01左右。
• Leaky ReLU的函数范围是负无穷到正无穷。

Leaky ReLU函数的图像：

本文标签： 函数机器数学ReLULeaky