数据预处理

机器学习中，对于输入特征做归一化预处理操作是最常见的步骤．图像处理中，图像的每个像素信息同样可以看做一种特征．在实践中，对每个特征减去平均值来中心化数据(mean normalization)．卷积神经网络中数据预处理通常是计算训练集图像像素均值，之后在处理训练集、验证集和测试集图像时需要分别减去该均值．减均值操作原理：默认自然图像是一类平稳的数据分布（数据在每一个唯独的统计都服从相同分布），在每个样本上减去数据的统计平均值（逐样本计算），移除共同部分，凸显个体差异

网络参数初始化

神经网络模型一般依靠随机梯度下降法进行模型训练和参数更新，网络的最终性能与收敛得到的最优解直接相关，而收敛效果实际上很大成都取决于网络参数的初始化．下面介绍几种初始化方式．

全零初始化

通过合理的数据预处理和规范化，当网络达到稳定状态时，参数在理想情况下应该保持正负各半的状态（期望为０）．因此，可以干脆将所有参数初始化为０（此时参数期望也为０）．

随机初始化

将参数随机设定为接近0的一个很小的随机数(有正有负)．随机参数服从高斯分布或菊云分布都是比较有效的初始化方式．为解决网络输出数据分布的方差会随着输入神经元个数改变，需要在初始化的同时加上对方差大小的规范化．

预训练模型参数初始化

将预训练模型的参数作为新任务模型的参数初始化．