本文延续该系列的上一篇 深度学习优化函数详解（2）– SGD 随机梯度下降
上一篇我们说到了SGD随机梯度下降法对经典的梯度下降法有了极大速度的提升。但有一个问题就是由于过于自由 导致训练的loss波动很大。那么如何可以兼顾经典GD的稳定下降同时又保有SGD的随机特性呢？于是小批量梯度下降法, mini-batch gradient descent 便被提了出来。其主要思想就是每次只拿总训练集的一小部分来训练，比如一共有5000个样本，每次拿100个样本来计算loss，更新参数。50次后完成整个样本集的训练，为一轮（epoch）。由于每次更新用了多个样本来计算loss，就使得loss的计算和参数的更新更加具有代表性。不像原始SGD很容易被某一个样本给带偏 。loss的下降更加稳定，同时小批量的计算，也减少了计算资源的占用。
公式推导
我们再来回顾一下参数更新公式。每一次迭代按照一定的学习率 α 沿梯度的反方向更新参数，直至收敛
大数据文摘出品
编译：李佳、汤圆、钱天培
“我的飞机什么时候到？”
把这个问题抛给智能机器人助手。几乎可以肯定，机器立马就懵逼了。
“我”是谁？“飞机”是航班还是淘宝上订的模型玩具呢？“到”又是到哪呢？
如果是人类来回答这个问题，即使在情景不明确的情况下也能在快速澄清后给出回答，但对机器来说，除非依赖大量人为制定的规则，回答这样的问题难度堪比“哥德巴赫猜想”。
面对自然语言处理发展（NLP）存在的诸多难题，该领域的大牛、Salesforce的首席科学家Richard Socher在近日指出：NLP领域的发展要过三座大山。
困扰NLP领域的这三座大山究竟是什么？一起来听大佬说。
一直以来，语言都被认为是人类的独特能力，是智慧的表现。但最近，自然语言处理技术的发展似乎也将语言能力赋予给了机器。
一、前述
CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。
二、CNN与RNN对比
1、CNN卷积神经网络与RNN递归神经网络直观图
2、相同点：
2.1. 传统神经网络的扩展。
2.2. 前向计算产生结果，反向计算模型更新。
2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。
3、不同点
CNN(卷积神经网络)的误差反传(error back propagation)中有一个非常关键的的步骤就是将某个卷积(Convolve)层的误差传到前一层的池化(Pool)层上，因为在CNN中是2D反传，与传统神经网络中的1D反传有点细节上的不同，下面通过一个简单的例子来详细分解一下这个反传步骤。
假设在一个CNN网络中，P代表某个池化层，K代表卷积核，C代表卷基层，首先来看一下前向(feed forward)计算，从一个池化层经过与卷积核(Kernel)的运算得到卷积层：
将前向计算的步骤进行分解，可以得到以下公式：
本文主要介绍了高斯滤波器的原理及其实现过程
高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像。其作用原理和均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同，均值滤波器的模板系数都是相同的为1；而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小。所以，高斯滤波器相比于均值滤波器对图像个模糊程度较小。
什么是高斯滤波器
既然名称为高斯滤波器，那么其和高斯分布（正态分布）是有一定的关系的。一个二维的高斯函数如下：
基于今天可观察到的主流宏观经济、政治、人口、社会、文化、商业和技术趋势，我们来看看未来10年将出现的21个新工作岗位，这些岗位将成为未来工作的基石。
作者：Manish Bahl
编译：大数据（ID：hzdashuju）
1. 数据侦探（Data Detective）
数据侦探用大数据来查看和解释大局。那些成功的应用将“走到数据所在的位置”，去追踪数据所说的内容，并通过分析各种来源给出有意义的商业建议。
2. 自带型IT协调员（Bring your own IT facilitator）
通过创建一个自动化的自助服务平台，让用户选择所需的应用程序，以及构建虚拟助手，以提高员工敏捷性、生产力和参与度，同时保证数据控制、安全性和可管理性，促进让员工更好、更智能地工作。
3. 道德官（Ethical sourcing officer）
人们常常觉得区块链和人工智能是两种截然不同的科技技术，那么你真正的理解它们吗？你知道他们是怎么运行的吗？
区块技术解析
区块链作为一种新兴技术，它对每个行业都可能造成影响。区块链的分布式系统与当今使用的固有集中式操作系统相对立。
采用分布式数据库架构形式，某些操作的记录和身份验证取决于多方的协议，而不仅仅是单一的权限。
与其他集中式技术相比，区块链-使操作更安全，更快速，更透明。
区块链已经给金融领域带来了很大的影响，像比特币、以太坊和莱特币这样的加密货币已经成为当前的关注点。
区块链与互联网的本质不同
相对于互联网技术而言，区块链的本质有三个不同：
前言
目前的恶意样本检测方法可以分为两大类：静态检测和动态检测。静态检测是指并不实际运行样本，而是直接根据二进制样本或相应的反汇编代码进行分析，此类方法容易受到变形、加壳、隐藏等方式的干扰。动态检测是指将样本在沙箱等环境中运行，根据样本对操作系统的资源调度情况进行分析。现有的动态行为检测都是基于规则对行为进行打分，分值的高低代表恶意程度的高低，但是无法给出类别定义。
本文采用CNN深度学习算法对Cuckoo沙箱的动态行为日志进行检测和分类尝试，分别测试了二分类和多分类方法，效果还有不小提升空间，希望共同交流。
现有技术
在大数据环境背景下，使用机器学习算法成为选择的趋势。相比手工分析，机器学习算法更加高效。目前已经有不少采用机器学习算法对样本动态行为进行检测的研究。Malheur由Konrad Rieck等人提出并给出了相应的开源实现，以样本中API出现的相对顺序作为特征向量，利用原型和聚类算法进行检测分析，该方法的缺点是特征向量过于稀疏，在高达几万维的特征向量中往往只有几十到几百维的特征值非零。
要理解什么是机器学习，其实可以类比于人类的学习。假设一个场景：父母教三岁大的孩子认识什么是西瓜。首先父母要给孩子看西瓜，然后告诉孩子这个是西瓜...
1998年以来，人工神经网络识别技术已经引起了广泛的关注，并且应用于图像分割。基于神经网络的分割方法的基本思想是通过训练多层感知机来得到线性决策函数，然后用决策函数对像素进行分类来达到分割的目的。这种方法需要大量的训练数据。神经网络存在巨量的连接，容易引入空间信息，能较好地解决图像中的噪声和不均匀问题。选择何种网络结构是这种方法要解决的主要问题。
图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。
• 普通分割
将不同分属不同物体的像素区域分开。
如前景与后景分割开，狗的区域与猫的区域与背景分割开。
• 语义分割
在普通分割的基础上，分类出每一块区域的语义（即这块区域是什么物体）。
如把画面中的所有物体都指出它们各自的类别。
• 实例分割
在语义分割的基础上，给每个物体编号。
如这个是该画面中的狗A，那个是画面中的狗B。
这里先说一下图像语义分割和普通的图像分割的关系：