function.md 1.9 KB
2-1 神经网络所需的函数
一次函数 $$ y = ax + b $$
二次函数 $$ y = ax^2 + bx + c $$
单位越阶函数 $$ u(x) = \left{ \begin{array}{ll}
0 & (x < 0) \\ 1 & (x \ge 0)\end{array} \right. $$ 单位越阶函数的表示方式如上，该函数在原点处不连续，也就是在原点处不可导。由于这个不可导的性质，单位越阶函数函数不能成为主要的激活函数。
指数函数与 Sigmoid 函数
指数函数的形状如下，其中常数 a 被称为指数函数的底数，且 a 为正的常数 $$ y = a^x \ (a \ne 1) $$
纳皮尔数是一个重要的底数，其近似值为： $$ e = 2.71828\ ... $$
Sigmoid 函数是神经网络中具有代表性的激活函数 $$ \sigma(x) = \frac{1}{1 + e^{-x}} = \frac{1}{1 + exp(-x)} $$ 注：exp 是 exponential function（指数函数）的简略记法，exp(x) 表示指数函数 $e^x$
（此处显示 Sigmoid 函数图像）从 Sigmoid 的函数图像可以看出，这个函数时光滑的，也就是处处可导。函数的取值在 0 到 1 之间，因此函数值可以用概率来解释
- 正态分布的概率密度函数
用计算机实际确定神经网络时，必须设定权重和偏置的初始值，求初始值时，正态分布是一个有用的工具，使用服从这个分布的随机数，容易取得好结果。正太分布是一种概率分布，它的概率密度函数如下： $$ f(x) = \frac{1}{\sqrt{2\pi\sigma}}e^{\frac{(x - \mu)^2}{2\sigma^2}} $$ 其中常数 $\mu$ 称为期望值（平均值），常数 $\sigma$ 称为标准差。
（此处显示图像）
按照正态分布产生的随机数成为正态分布随机数。在神经网络的计算中，经常用到正态分布随机数作为初始值。