什么是epoch？
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。然而，当一个epoch对于计算机而言太庞大的时候，就需要把它分成多个小块。
为什么要使用多于一个epoch?
在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降来优化学习过程。如下图所示。因此仅仅更新一次或者说使用一个epoch是不够的。
随着epoch数量增加，神经网络中的权重的更新次数也在增加，曲线从欠拟合变得过拟合。
那么，问题来了，几个epoch才是合适的呢？
不幸的是，这个问题并没有正确的答案。对于不同的数据集，答案是不一样的。但是数据的多样性会影响合适的epoch的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。
其他与epoch有关的参数
Batch Size
batch size将决定我们一次训练的样本数目。注意：batch size 和 number of batches是不同的。在不能将数据一次性通过神经网络的时候，就需要将数据集分成几个batch。
Iteration
Iteration是batch需要完成一个epoch的次数。
举个例子：
CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。
• 每个 Epoch 要训练的图片数量： 50000
• 训练集具有的 Batch 个数： 50000/265=195+1=196
• 每个 Epoch 需要完成的 Batch 个数： 196
• 每个 Epoch 具有的 Iteration 个数： 196
• 每个 Epoch 中发生模型权重更新的次数：196
• 训练10代后，模型权重更新的次数：196 * 10 = 1960
• 不同代的训练，其实用的是同一个训练集的数据。第1代和第10代虽然用的都是训练集的五万张图片，但是对模型的权重更新值却是完全不同的。因为不同代的模型处于代价函数空间上的不同位置，模型的训练代越靠后，越接近谷底，其代价越小。
作者：刺客五六柒
来源：CSDN
原文：https://blog.csdn.net/qq_39521554/article/details/84480429
版权声明：本文为博主原创文章，转载请附上博文链接！