深度学习—BN的理解(一)
demi 在 周二, 03/24/2020 - 14:46 提交
机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢?BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
深度学习是一种基于人工神经网络的机器学习方法,它通过多层神经网络对数据进行建模和学习,从而使计算机能够自动从数据中提取特征并进行预测。深度学习在图像处理、语音识别、自然语言处理等领域取得了显著的突破,特别是在大数据和强大计算能力的支持下,深度学习已成为解决复杂问题的主要技术。
机器学习领域有个很重要的假设:IID独立同分布假设,就是假设训练数据和测试数据是满足相同分布的,这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢?BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。
深度学习算法现在是图像处理软件库的组成部分。在他们的帮助下,可以学习和训练复杂的功能;但他们的应用也不是万能的。
作为机器学习最重要的一个分支,深度学习近年来发展迅猛,在国内外都引起了广泛的关注。然而深度学习的火热也不是一时兴起的,而是经历了一段漫长的发展史。接下来我们了解一下深度学习的发展历程。
本篇博客主要介绍深度学习中需要掌握的函数,包括一次函数、二次函数、单位阶跃函数、指数函数、sigmoid函数等概念
前文中了解到,神经网络由多个神经单元组成,而本篇博客将会了解到深度学习由多个神经网络组成,并且分为 输入层、隐藏层和输出层,隐藏层涉及到的知识点最多,是本文的重点。
阅读《深度学习的数学》书中第一部分提到了关于 神经元、神经单元、激活函数以及一个非常具有代表性的 Sigmoid 函数,本博客的目的既是对此做一个总结
深度学习常见专业名词:输入层;输出层;隐含层;卷积;池化;激活函数;Dropout......
当你辗转于各种论坛时,相信会经常看到这样的问题:深度学习是否会取代传统的计算机视觉?或者说,当深度学习看起来如此有效时,是否还有必要研究传统的计算机视觉技术?
我们经常见到介绍计算机视觉领域的深度学习新进展的文章,不过针对深度学习本身的研究经常告诉我们:深度学习并不是那个最终的解决方案,它有许多问题等待我们克服。
人类的视觉系统有非凡的能力,能够让我们从三维世界的二维投影中了解我们的三维世界。即使在具有多个移动对象的复杂环境中,人们也能够对对象的几何结构和深度顺序进行合理的解释。