神经网络 Neural Networks

4. 神经网络 Neural Networks

4.1 神经网络 Neural Network

由于两个线性分类器的直接叠加等效于一个线性分类器（忽略bias）： \[ f=W_2W_1x=W^*x \] 我们在两个线性分类器中间添加一个非线性函数，就构成了一个两层的神经网络（Neural Network）： \[ f=W_2\max(0, W_1x) \]

4.2 激活函数 Activation function

神经网络中的非线性函数被称为激活函数（Activation function）

以下是一些常见的激活函数

ReLU(Rectified Linear Unit): \[ \mathrm{ReLU}(z) = \max (0,z) \] Leaky ReLU: \[ \max(0.1x,x) \]

Sigmoid: \[ \sigma(x) = \frac{1}{1+e^{-x}} \] tanh: \[ \tanh(x) \] Maxout: \[ max(w_1^{\mathsf T}x+b_1, w_2^{\mathsf T}x+b_2) \] ELU: \[ \begin{cases} x& x\geq0\\ \alpha (e^x-1)& x<0 \end{cases} \]