demi的博客

前言

机器学习的主要挑战在于在未见过的数据输入上表现良好，这就是泛化（generalization）能力。由于我们的机器学习模型都是从训练集中学习参数得到的，如何确保其在测试集上表现良好呢？

量化模型在训练集和测试集上的表现，分别成为训练误差（training error）和测试误差（test error），后者也称为泛华误差（generalization error）。理想的模型就是在最小化训练误差的同时，最小化泛化误差。

如果我们的训练集和测试集都是随机生成的，不服从任何分布，那么这个模型将会注定在测试集上表现糟糕，事实上，将不会有任何模型可能在其上表现地明显优于随机猜测。因此，训练集和测试集通常都假设为独立同分布。

我们能观察到的训练误差和泛化误差之间的直接关系就是，训练误差的期望等于测试误差的期望。举个例子：假设我们从p(x, y)中重复采样生成训练集和测试集，对于固定的模型参数W，训练误差的期望等于泛化误差的期望，因为此时测试集和训练集只是名字不同而已，其实其还都是满足数据生成分布的。

由于在看这类文章时专业名词较多，所以在正式开始前，我先介绍一些同义专业名词，各名词具体含义以及之间的关系在文中介绍。

卷积层 = C层

采样层 = 池化层（pooling层），S层

平面 = 特征图（feature map），通道，map

卷积核 = 权向量，滤波器

神经元 = 特征，结点，单元，像素点，patch

局部感受野的大小 = 滤波器的大小

1、 引入

在人工神经网络中，当网络层数增多时，网络中的权值以成倍的速度在增长。比如当输入为一个1000*1000图片时（假如网络总共有6层，每层100个节点）则需要的权值数为：1000*1000*100+100*100*4，这么多的权值数目严重影响了网络的训练速度，为了训练好模型同时也需要更多的训练样例，同时过于复杂的模型也易导致过拟合的发生。

在上例中，主要是前面的输入层到第一层的权重参数太多，那么如何解决呢？传统的方法就是人工从图像中抽取较少特征，然后再放入全连接的神经网络中，但这种方法存在两个问题，一个问题是人工抽取特征效率较低，其次是抽取的特征不一定准确。

关于5G的应用，你了解多少呢？要知道，每一次的网络革命都会给人们的生活带来翻天覆地的变化，当然5G也不例外。5G这个概念一出，立马引起了网上的众多讨论。而关于5G的应用你又了解多少呢？

所谓5G就是第五代移动通信技术，其理论的峰值已经达到了每秒10GB，比我们一般使用的4G网络要快数百倍，这样的速度下载整个超高的画质的电影只需要1秒内就可下载完成。

伴随着5G技术的诞生，同样也在推动着其他不同领域的发展。这些5G的应用你一定要了解：

1、无人驾驶技术：说到无人驾驶技术，其实无人驾驶就是依靠车内以计算机系统为主的智能驾驶仪来实现无人驾驶的目标。但其实无人驾驶技术对网络也是有着极高的要求，要知道无人驾驶技术最好也是要求毫秒级的延时，延时越低安全系数越高。其实汽车在飞速的行驶中，如果时速达到120公里每小时，那就意味着1毫米的移动距离也就是3厘米多，4G的网络显然已经不足以支撑无人驾驶功能，而5G网络却可以满足自动驾驶的功能需求。

人工智能现在在全世界流行，如果你想进行AI开发，那就先来了解这5种开发AI的最佳语言吧！

1、Python

Python语法简单，功能多样，是开发人员最喜爱的AI开发编程语言之一，因为它允许开发人员创建交互式，可解释式性，模块化，动态，可移植和高级的代码，这使得它比Java语言更独特。Python非常便携，可以在Linux，Windows等多平台上使用。另外，Python是一种多范式编程语言，支持面向对象，面向过程和函数式编程风格。由于它拥有简单的函数库和理想的结构，Python很适合神经网络和自然语言处理（NLP）解决方案的开发。

但是，习惯于Python的开发人员在尝试使用其他语言时，难以调整状态使用不同的语法进行开发。与C ++和Java不同，Python在解释器的帮助下运行，在AI开发中这会使编译和执行变的更慢，不适合移动计算

最近，在自然语言处理（NLP）领域中，使用语言模型预训练方法在多项NLP任务上都获得了不错的提升，广泛受到了各界的关注。我将最近看的一些相关论文进行总结，选取了几个代表性模型和大家一起学习分享。

一、前言

这篇卷积神经网络是前面介绍的多层神经网络的进一步深入，它将深度学习的思想引入到了神经网络当中，通过卷积运算来由浅入深的提取图像的不同层次的特征，而利用神经网络的训练过程让整个网络自动调节卷积核的参数，从而无监督的产生了最适合的分类特征。这个概括可能有点抽象，我尽量在下面描述细致一些，但如果要更深入了解整个过程的原理，需要去了解DeepLearning。

这篇文章会涉及到卷积的原理与图像特征提取的一般概念，并详细描述卷积神经网络的实现。但是由于精力有限，没有对人类视觉的分层以及机器学习等原理有进一步介绍，后面会在深度学习相关文章中展开描述。

二、卷积

卷积是分析数学中一种很重要的运算，其实是一个很简单的概念，但是很多做图像处理的人对这个概念都解释不清，为了简单起见，这里面我们只介绍离散形式的卷积，那么在图像上，对图像用一个卷积核进行卷积运算，实际上是一个滤波的过程。

我们先看一下卷积的基本数学表示：

1、SVM的原理是什么？

SVM是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。（间隔最大是它有别于感知机）

试图寻找一个超平面来对样本分割，把样本中的正例和反例用超平面分开，并尽可能的使正例和反例之间的间隔最大。

支持向量机的基本思想可以概括为，首先通过非线性变换将输入空间变换到一个高维的空间，然后在这个新的空间求最优分类面即最大间隔分类面，而这种非线性变换是通过定义适当的内积核函数来实现的。SVM实际上是根据统计学习理论依照结构风险最小化的原则提出的，要求实现两个目的：
1）两类问题能够分开（经验风险最小）
2）margin最大化（风险上界最小）既是在保证风险最小的子集中选择经验风险最小的函数。

分为3类支持向量机：
（1）当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，即线性可分支持向量机；
（2）当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；
（3）当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

无线解锁汽车虽然很方便，但同时也要付出极大的代价，比如黑客的窥视。随着智能汽车越来越多，依附于这类型汽车的新形式犯罪也出现了，行业里将这部分犯罪分子称为“钥匙黑客”，顾名思义就是借助廉价电子配件和新的黑客攻击技术，相对轻松的拦截或阻挡车钥匙向车发出的信号。想象一下，如果一个小偷能截获并复制你的车钥匙信号，那他就可以打开你的车，而且不会发出任何警报！

根据联邦调查局的数据，汽车盗窃数量自1991年达到顶峰以来一直呈螺旋式上升趋势。然而，自2015年以来，汽车被盗数量却呈现新的直线上升趋势。事实上，2015年汽车盗窃案件增加了3.8％，2016年增加7.4％，2017年上半年增加4.1％。

由于新型汽车的被盗方式与传统的汽车被盗有着本质的区别，所以很多用户的安全保护思维还没有转过弯来，为了让你的汽车不被盗，培养新的安全意识绝对是关键。因此，对抗这新一轮的汽车犯罪浪潮。我列出了目前汽车无线解锁的七种攻击方式，每个人都需要了解。

1. 对汽车的开关继电器进行黑客攻击

“随着全社会对虚拟现实的关注度和理解力不断提高，虚拟现实的影响力也在逐渐扩大，向各行业各领域的渗透在不断深入，市场需求、行业应用正在激活，虚拟现实产业发展的战略窗口期已然形成……”在近日由工业和信息化部和江西省人民政府联合主办的2018世界VR产业大会上，工业和信息化部部长苗圩这样说。

未来，5G网络新技术将成为VR（虚拟现实）、AR（增强现实）产业赖以发展的通信技术。业界认为，5G可以根据业务需求匹配网络和计算资源，将更好地满足VR业务需求，推动VR创新应用发展。当VR产业遇上5G网络新技术，将产生哪些“化学反应”？

VR产业在垂直领域的融入度不断提升

市场研究公司IDC预测，虚拟现实和增强现实的“头显”（头戴式显示设备的简称）普及程度将快速增长，2018年销量将由2017年的800万台增长至1240万台，未来5年虚拟现实和增强现实“头显”销量平均增速为52.5%。

“VR产业已经进入成熟阶段的‘爬坡期’，VR内容的生产以及分发机制基本成型，用户的习惯已逐渐养成，垂直领域的融入度不断提升。”在大会期间由咪咕文化科技有限公司、中国移动通信研究院承办的“5G+VR”分论坛上，中国移动研究院副院长魏晨光说。

本文基于2018年发表于期刊 ISPRS Journal of Photogrammetry and Remote Sensing （IF 5.994）上的论文“A deep learning framework for remote sensing image registration [1]”，王爽，权豆，梁雪峰，宁梦丹，郭岩河，焦李成。

1. 背景

随着对地观测技术的不断发展与更新，获取遥感图像的传感器也越来越多。为了分析某一场景，我们有时需要把不同时期的、不同传感器的、甚至于不同视角的遥感图像融合在一起处理，因此需要对遥感图像进行配准，将多幅遥感图像进行匹配和叠加。

2. 问题描述