深度学习

最近的一些研究发现很多自监督与无监督学习的技术思想也可适用于图类型的数据，我们在设计用于检测漏洞的图神经网络过程中也受到了很多来自CV、NLP领域自监督学习的启发来设计模型，我们今天将介绍一些其他研究者已经发表出来的相关的工作。

我们对世界的体验是多模态的 —— 我们看到物体，听到声音，感觉到质地，闻到气味，尝到味道。模态是指某件事发生或经历的方式，当一个研究问题包含多个模态时，它就具有多模态的特征。为了让人工智能在理解我们周围的世界方面取得进展，它需要能够同时解释这些多模态的信号。

深度神经网络（DNN）本质上是通过具有多个连接的感知器而形成的，其中感知器是单个神经元。可以将人工神经网络（ANN）视为一个系统，其中包含沿加权路径馈入的一组输入。然后处理这些输入，并产生输出以执行某些任务。

在深度学习领域，大家都能经常听到超参数和模型参数的概念，但是还有长期变量、临时变量这些概念很多人并不知道是什么，甚至不少资深玩家对超参数和模型参数的认识也是模糊不清，超参数、模型参数、长期变量与临时变量都是深度学习上下文中的参数变量，掌握好这些概念对我们加深了解深度学习很有必要，也是我们炼丹必不可缺少的一环。下面就让我们一起来了解这些概念吧！

神经网络学习过程的本质就是为了学习数据分布，如果我们没有做归一化处理，那么每一批次训练数据的分布不一样，从大的方向上看，神经网络则需要在这多个分布中找到平衡点，从小的方向上看，由于每层网络输入数据分布在不断变化，这也会导致每层网络在找平衡点，显然，神经网络就很难收敛了。

在2020世界人工智能大会云端峰会上，百度董事长兼CEO李彦宏表示，未来最主要的操作系统软件将不基于PC和手机，而是基于人工智能深度学习框架。

随着深度学习的快速发展，人们创建了一整套神经网络结构来解决各种各样的任务和问题。尽管有无数的神经网络结构，这里有十一种对于任何深度学习工程师来说都应该理解的结构，可以分为四大类: 标准网络、循环网络、卷积网络和自动编码器。

一般而言，比较成功的神经网络需要大量的参数，许许多多的神经网路的参数都是数以百万计，而使得这些参数可以正确工作则需要大量的数据进行训练，而实际情况中数据并没有我们想象中的那么多……

过拟合是指在模型参数拟合过程中，由于训练数据包含抽样误差，复杂模型在训练时也将抽样误差进行了很好的拟合。具体表现就是在训练集上效果好，而测试集效果差，模型泛化能力弱。

 CNN的池化(图像下采样)方法很多：Mean pooling(均值采样)、Max pooling(最大值采样)、Overlapping (重叠采样)、L2 pooling(均方采样)、Local Contrast Normalization(归一化采样)、Stochasticpooling(随即采样)、Def-pooling(形变约束采样)。