神经网络

深度神经网络是否过拟合?

作者:Lilian Weng
编译:ronghuaiyang

导读

如果你和我一样,不明白为什么深度神经网络可以推广到样本外的数据点,而不会过拟合,请继续阅读。

如果你像我一样,有传统机器学习的经验进入深度学习领域,你可能会经常思考这样一个问题:由于一个典型的深度神经网络有这么多的参数,训练误差很容易达到完美,那么它一定会遭受大量的过拟合。如何将其推广到样本外数据点?

在理解为什么深层神经网络可以泛化的过程中,我想起了一篇关于系统生物学的有趣的论文——《生物学家能修理收音机吗?》。如果一位生物学家打算用她在生物系统上工作的方法来修理一台无线电设备的话,可能会很困难。由于无线电系统的全部机制还没有被揭示出来,小的局部功能可能会给出一些提示,但它很难显示系统内的所有交互,更不用说整个工作流程了。无论你是否认为它与DL相关,它都是一本非常有趣的读物。

我想在这篇文章中讨论一些关于深度学习模型的泛化性和复杂性度量的论文。希望它能帮助你理解为什么DNN可以泛化。

关于压缩和模型选择的经典定理

神经网络中的参数解读

神经网络是一种在很多用例中能够提供最优准确率的机器学习算法。其中参数的理解可能是我们入门的一个小小的难题,在讨论提升神经网络性能的方法,如检查过拟合、调参、超参数调节、数据增强之前,我们先简单介绍常用的神经网络参数,便于后期的学习和理解,以期更快的掌握深度学习,构建更准确的神经网络。

如何改进你自己的CNN?

随着深度卷积神经网络(CNN)在图像处理领域的快速发展,它已经成为机器视觉领域的一种标准,如图像分割、对象检测、场景标记、跟踪、文本检测等。然而,想要熟练掌握训练神经网络的能力并不是那么容易。比如,我们常常会遇到如下问题。你的数据和硬件有什么限制?你应该是从何种网络开始?你应该建立多少与卷积层相对的密集层?你的激励函数怎样去设置?即使你使用了最流行的激活函数,你也必须要用常规激活函数。