笔记

思考模型越复杂,是不是带来的好处就越多呢? 结构 残差块家族也有许多成员 Resnet块 重复多次,就得到了resnet网络 总结 残差块使得很深的网络更加容易训练 甚至可以训练一千层的网络 残差网络对随后的深层神经网络设计产生了深远影响，无论是卷积类网络还是全连接类网络

介绍在训练模型的时候,对于一个网络来说: 前部:数据集中在前部,网络前面的层变化,则会导致后面的层也跟着变化->收敛速度慢 后部:损失是集中在网络后面的,所以往往后面的层训练较快那有没有一种方式,使网络后面的层尽量保持不变呢?批量归一化定义通过固定小批量数据的均值和方差，再引入可学习参数 γ 和 β 对数据进行调整，有助于加速模型的训练收敛，提高模型的稳定性 。计算小批量均值和方差的公式： \mu_B = \frac{1}{|B|} \sum_{i\in B} x_i \text{ and } \sigma_B^2 = \frac{1}{|B|} \sum_{i\in B} (x_i - \mu_B)^2 + \epsilon然后对其做额外的调整: x_{i + 1} = \gamma \frac{x_i - \mu_B}{\sigma_B} + \beta不再学习均值和方差,转而学习参数 γ 和 β 作用位置 作用在 全连接层和卷积层输出上，激活函数前 全连接层和卷积层输入上 对全连接层，作用在特征维 对于卷积层，作用在通道维 实现1234567net =...