demi的博客

本次我们基于线性回归的图像分类算法，采用的数据集合是CIFAR10，具体信息如下图所示。

参数化方法：线性回归

双边滤波（Bilateral filter）是一种非线性的滤波方法，是结合图像的空间邻近度和像素值相似度的一种折衷处理，同时考虑空域信息和灰度相似性，达到保边去噪的目的。

双边滤波器之所以能够做到在平滑去噪的同时还能够很好的保存边缘（Edge Preserve），是由于其滤波器的核由两个函数生成：
  •   一个函数由像素欧式距离决定滤波器模板的系数
  •   另一个函数由像素的灰度差值决定滤波器的系数

其综合了高斯滤波器（Gaussian Filter）和 α-截尾均值滤波器（Alpha-Trimmed mean Filter）的特点。高斯滤波器只考虑像素间的欧式距离，其使用的模板系数随着和窗口中心的距离增大而减小；Alpha截尾均值滤波器则只考虑了像素灰度值之间的差值，去掉 α% 的最小值和最大值后再计算均值。

双边滤波器使用二维高斯函数生成距离模板，使用一维高斯函数生成值域模板。

距离模板系数的生成公式如下：

现在提到“神经网络”和“深度神经网络”，会觉得两者没有什么区别，神经网络还能不是“深度”（deep）的吗？我们常用的 Logistic regression 就可以认为是一个不含隐含层的输出层激活函数用 sigmoid（logistic） 的神经网络，显然 Logistic regression 就不是 deep 的。不过，现在神经网络基本都是 deep 的，即包含多个隐含层。Why？

1. universality approximation theorem（通用近似定理）

任何连续的函数 f : R^N→R^M 都可以用只有一个隐含层的神经网络表示。（隐含层神经元足够多）

作者：Maybe2030
来源：http://lib.csdn.net/article/machinelearning/49601

以下的几幅图是我认为在解释机器学习基本概念时最有启发性的条目列表。

1. Test and training error: 为什么低训练误差并不总是一件好的事情呢：以模型复杂度为变量的测试及训练错误函数。

2. Under and overfitting: 低度拟合或者过度拟合的例子。多项式曲线有各种各样的命令M，以红色曲线表示，由绿色曲线适应数据集后生成。

本文延续该系列的上一篇 深度学习优化函数详解（2）– SGD 随机梯度下降

上一篇我们说到了SGD随机梯度下降法对经典的梯度下降法有了极大速度的提升。但有一个问题就是由于过于自由 导致训练的loss波动很大。那么如何可以兼顾经典GD的稳定下降同时又保有SGD的随机特性呢？于是小批量梯度下降法, mini-batch gradient descent 便被提了出来。其主要思想就是每次只拿总训练集的一小部分来训练，比如一共有5000个样本，每次拿100个样本来计算loss，更新参数。50次后完成整个样本集的训练，为一轮（epoch）。由于每次更新用了多个样本来计算loss，就使得loss的计算和参数的更新更加具有代表性。不像原始SGD很容易被某一个样本给带偏 。loss的下降更加稳定，同时小批量的计算，也减少了计算资源的占用。

公式推导

我们再来回顾一下参数更新公式。每一次迭代按照一定的学习率 α 沿梯度的反方向更新参数，直至收敛

大数据文摘出品
编译：李佳、汤圆、钱天培

“我的飞机什么时候到？”

把这个问题抛给智能机器人助手。几乎可以肯定，机器立马就懵逼了。

“我”是谁？“飞机”是航班还是淘宝上订的模型玩具呢？“到”又是到哪呢？

如果是人类来回答这个问题，即使在情景不明确的情况下也能在快速澄清后给出回答，但对机器来说，除非依赖大量人为制定的规则，回答这样的问题难度堪比“哥德巴赫猜想”。

面对自然语言处理发展（NLP）存在的诸多难题，该领域的大牛、Salesforce的首席科学家Richard Socher在近日指出：NLP领域的发展要过三座大山。

困扰NLP领域的这三座大山究竟是什么？一起来听大佬说。

一直以来，语言都被认为是人类的独特能力，是智慧的表现。但最近，自然语言处理技术的发展似乎也将语言能力赋予给了机器。

一、前述

CNN和RNN几乎占据着深度学习的半壁江山，所以本文将着重讲解CNN+RNN的各种组合方式，以及CNN和RNN的对比。

二、CNN与RNN对比

1、CNN卷积神经网络与RNN递归神经网络直观图

2、相同点：

2.1. 传统神经网络的扩展。
2.2. 前向计算产生结果，反向计算模型更新。
2.3. 每层神经网络横向可以多个神经元共存,纵向可以有多层神经网络连接。

3、不同点

CNN(卷积神经网络)的误差反传(error back propagation)中有一个非常关键的的步骤就是将某个卷积(Convolve)层的误差传到前一层的池化(Pool)层上，因为在CNN中是2D反传，与传统神经网络中的1D反传有点细节上的不同，下面通过一个简单的例子来详细分解一下这个反传步骤。

假设在一个CNN网络中，P代表某个池化层，K代表卷积核，C代表卷基层，首先来看一下前向(feed forward)计算，从一个池化层经过与卷积核(Kernel)的运算得到卷积层：

将前向计算的步骤进行分解，可以得到以下公式：

本文主要介绍了高斯滤波器的原理及其实现过程

高斯滤波器是一种线性滤波器，能够有效的抑制噪声，平滑图像。其作用原理和均值滤波器类似，都是取滤波器窗口内的像素的均值作为输出。其窗口模板的系数和均值滤波器不同，均值滤波器的模板系数都是相同的为1；而高斯滤波器的模板系数，则随着距离模板中心的增大而系数减小。所以，高斯滤波器相比于均值滤波器对图像个模糊程度较小。

什么是高斯滤波器

既然名称为高斯滤波器，那么其和高斯分布（正态分布）是有一定的关系的。一个二维的高斯函数如下：

基于今天可观察到的主流宏观经济、政治、人口、社会、文化、商业和技术趋势，我们来看看未来10年将出现的21个新工作岗位，这些岗位将成为未来工作的基石。

作者：Manish Bahl
编译：大数据（ID：hzdashuju）

1. 数据侦探（Data Detective）

数据侦探用大数据来查看和解释大局。那些成功的应用将“走到数据所在的位置”，去追踪数据所说的内容，并通过分析各种来源给出有意义的商业建议。

2. 自带型IT协调员（Bring your own IT facilitator）

通过创建一个自动化的自助服务平台，让用户选择所需的应用程序，以及构建虚拟助手，以提高员工敏捷性、生产力和参与度，同时保证数据控制、安全性和可管理性，促进让员工更好、更智能地工作。

3. 道德官（Ethical sourcing officer）