深度 vs 浅度
深度学习的"深"指网络层数多。深度网络能自动学习层次化特征:低层学边缘,中层学形状,高层学语义。
神经网络的入门之道
深度学习是机器学习的一个分支,使用多层神经网络自动学习数据的层次化表示。
输入层
接收原始数据
隐藏层
学习特征表示
输出层
输出预测结果
| 激活函数 | 公式 | 特点 |
|---|---|---|
| ReLU | max(0, x) | 最常用,计算快,缓解梯度消失 |
| Sigmoid | 1/(1+e⁻ˣ) | 输出(0,1),二分类输出层 |
| Tanh | (eˣ-e⁻ˣ)/(eˣ+e⁻ˣ) | 输出(-1,1),零中心化 |
| Softmax | eˣᵢ/Σeˣⱼ | 多分类输出,输出概率分布 |
深度学习的"深"指网络层数多。深度网络能自动学习层次化特征:低层学边缘,中层学形状,高层学语义。