demi的博客

本文延续该系列的上一篇 深度学习优化函数详解（1）—— Gradient Descent 梯度下降法

上文讲到的梯度下降法每进行一次 迭代 都需要将所有的样本进行计算，当样本量十分大的时候，会非常消耗计算资源，收敛速度会很慢。尤其如果像ImageNet那样规模的数据，几乎是不可能完成的。同时由于每次计算都考虑了所有的训练数据，也容易造成过拟合。在某种程度上考虑的太多也会丧失随机性 。于是有人提出，既然如此，那可不可以每一次迭代只计算一个样本的loss呢？然后再逐渐遍历所有的样本，完成一轮（epoch）的计算。答案是可以的，虽然每次依据单个样本会产生较大的波动，但是从整体上来看，最终还是可以成功收敛。由于计算量大大减少，计算速度也可以极大地提升。这种逐个样本进行loss计算进行迭代的方法，称之为 Stochasitc Gradient Descent 简称SGD。

注：目前人们提到的SGD一般指 mini-batch Gradient Descent，是经典SGD的一个升级。后面的文章会讲到。

公式推导

我们再来回顾一下参数更新公式。每一次迭代按照一定的学习率 α 沿梯度的反方向更新参数，直至收敛

一、目的

缩小图像（或称为下采样（subsampled）或降采样（downsampled））的主要目的：

1、使得图像符合显示区域的大小；

2、生成对应图像的缩略图。

放大图像（或称为上采样（upsampling）或图像插值（interpolating））的主要目的是放大原图像,从而可以显示在更高分辨率的显示设备上。

对图像的缩放操作并不能带来更多关于该图像的信息, 因此图像的质量将不可避免地受到影响。然而，确实有一些缩放方法能够增加图像的信息，从而使得缩放后的图像质量超过原图质量的。

二、原理

下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值：

在机器视觉系统中,获得一张高质量的可处理的图像是至关重要。系统之所以成功，首先要保证图像质量好，特征明显,。一个机器视觉项目之所以失败，大部分情况是由于图像质量不好，特征不明显引起的。要保证好的图像，必须要选择一个合适的光源。

光源选型基本要素

对比度：对比度对机器视觉来说非常重要。机器视觉应用的照明的最重要的任务就是使需要被观察的特征与需要被忽略的图像特征之间产生最大的对比度，从而易于特征的区分。对比度定义为在特征与其周围的区域之间有足够的灰度量区别。好的照明应该能够保证需要检测的特征突出于其他背景。

亮度：当选择两种光源的时候，最佳的选择是选择更亮的那个。当光源不够亮时，可能有三种不好的情况会出现。第一，相机的信噪比不够；由于光源的亮度不够，图像的对比度必然不够，在图像上出现噪声的可能性也随即增大。其次，光源的亮度不够，必然要加大光圈，从而减小了景深。另外，当光源的亮度不够的时候，自然光等随机光对系统的影响会最大。

引言

先坦白地说，有一段时间我无法真正理解深度学习。我查看相关研究论文和文章，感觉深度学习异常复杂。我尝试去理解神经网络及其变体，但依然感到困难。

接着有一天，我决定一步一步，从基础开始。我把技术操作的步骤分解开来，并手动执行这些步骤（和计算），直到我理解它们如何工作。这相当费时，且令人紧张，但是结果非凡。

现在，我不仅对深度学习有了全面的理解，还在此基础上有了好想法，因为我的基础很扎实。随意地应用神经网络是一回事，理解它是什么以及背后的发生机制是另外一回事。

今天，我将与你共享我的心得，展示我如何上手卷积神经网络并最终弄明白了它。我将做一个通盘的展示，从而使你对 CNN 的工作机制有一个深入的了解。

在本文中，我将会讨论 CNN 背后的架构，其设计初衷在于解决图像识别和分类问题。同时我也会假设你对神经网络已经有了初步了解。

1、机器如何看图？

原文地址：https://en.wikipedia.org/wiki/Deferred_shading

在3D计算机图形学领域，deferred shading 是一种屏幕空间着色技术。它被称为Deferred，是因为实际上在第一次pass中的顶点和像素着色器中没有执行着色：相反，着色是“deferred（延迟）”到第二个pass中执行。
在deferred着色器的第一次pass中，只收集着色计算所需的数据。每个表面的位置、法线和材质，然后使用“render to texture”技术渲染到几何缓冲（G-buffer）中。在这之后，像素着色器使用屏幕空间中纹理缓冲区的信息计算每个像素的直接和间接光照。

SSDO（Screen space directional occlusion）可以作为deferred着色管线的一部分，给阴影和互反射提供方向。

优点

作者：张俊林

看深度学习文献，门函数基本上已经是你必然会遇到的一个概念了，最典型的就是LSTM，首先上来你就得过得去“遗忘门”“输入门”“输出门”这三个门。门函数本身是个独立概念，不过LSTM使用多个门函数来组合出一个带有状态记忆的计算模型而已。随着LSTM大行其道，各种计算模型开始在计算过程中引入门函数的概念，相信这些论文你也没少看，其实这也是一种研究模式，比如你看看你手头的模型，想想能不能把门函数引进来？会不会有效？也许能走得通。

RNN概念非常直接简单很好理解，但是看到了LSTM，估计不少人会挠头。学习LSTM刚开始看模型一般都不太容易立马搞明白到底这是怎么回事？其实很重要的原因一个是一下子引入了三个门，太多，另外一个是把记忆状态存储单独独立出来，所以看上去整个逻辑很复杂，其实你要是把门函数到底在干嘛搞清楚，那么LSTM的计算逻辑是非常清晰直接好理解的，跟RNN在概念上其实是一样的。所以首先得搞明白“门函数”们到底在干什么事情。

猪家的神经网络门控系统

1、初识深度信念网络

深度信念网络是一个概率生成模型，与传统的判别模型的神经网络相对，生成模型是建立一个观察数据和标签之间的联合分布，对P(Observation|Label)和 P(Label|Observation)都做了评估，而判别模型仅仅而已评估了后者，也就是P(Label|Observation)。

DBNs由多个限制玻尔兹曼机（Restricted Boltzmann Machines）层组成，一个典型的网络结构如图1所示。这些网络被“限制”为一个可视层和一个隐层，层间存在连接，但层内的单元间不存在连接。隐层单元被训练去捕捉在可视层表现出来的高阶数据的相关性。

2、需要面对的问题

主要讲了Logistic regression的内容，里面涉及到很多基本概念，是学习神经网络的基础。下面我们由Logistic regression升级到神经网络，首先我们看看“浅层神经网络（Shallow Neural Network）”

一、什么是神经网络

我们这里讲解的神经网络，就是在Logistic regression的基础上增加了一个或几个隐层（hidden layer），下面展示的是一个最最最简单的神经网络，只有两层：

两层神经网络：

需要注意的是，上面的图是“两层”，而不是三层或者四层，输入和输出不算层!

这里，我们先规定一下记号（Notation）：

这篇文章讨论并尝试实际测量了不同文本嵌入模型中的性别偏差。

2018(第九届)清洁发展国际融资论坛上，北京交通大学人工智能研究院常务副院长、教授于剑先生从专业角度回顾了人工智能的发展历程，并介绍了深度学习的适用范围和所面临的问题。他指出，深度学习是机器学习领域最引人注目的研究方向，但没有任何一种算法可以解决机器学习所有的应用。

深度学习算法的分类

深度学习在早期被称为神经网络。神经网络是一种特殊的学习方式，在神经网络领域，人们将学习定义为“基于经验数据的函数估计问题”。需要指出，这样的学习定义虽然非常片面，但对于神经网络而言已经够用了。如此一来，如何构造函数，并应用经验数据将其估计出来，就成了神经网络面临的首要问题。

学习算法的分类有很多种。一种分类方式是将学习算法分为傻瓜型学习算法与专家型学习算法。所谓傻瓜型学习算法，就是任何人使用得到的结果都差别不大的学习算法。所谓专家型学习算法，就是专家与普通人使用得到的结果差别巨大的学习算法，每个人得出的结果很难一致。当然，中间还有一些处于两者之间的学习算法，既不是纯傻瓜型的也是不纯专家型的。