类似 线性神经网络 ，但更多层，也不局限于 加权函数$\to$激活函数 の 格式
传播
| 性质 | 前向传播 | 反向传播 |
|---|---|---|
| 源对象 | 输入信号 | 损失梯度 |
| 终对象 | 输出信号 | 权重参数 |
| 方向 | 输入层 $\to$ 输出层 | 输出层 $\to$ 输入层 |
前向传播
将输入信号从输入层到输出层，层层级联地计算加权函数&激活函数
反向传播
aka. BP
将损失梯度从输出层到输入层，层层级联地更新权重参数
- 列出 梯度下降法 の总损失梯度迭代式 $$w_{k}^{(t+1)}=w_{k}^{(t)}-\lambda\cdot \left(\frac{ \partial E_{\mathrm{total}} }{ \partial w_{k} }\right)^{(t)} $$
- 用链式法则求偏导 $$\frac{ \partial E_{\mathrm{total}} }{ \partial w_{k} } =\frac{ \partial E_{\mathrm{total}} }{ \partial \dots } \times\dots \times \frac{ \partial \dots }{ \partial w_{k} } $$
- 逐个求部分偏导