demi的博客

1、梯度消失和爆炸

梯度消失：一是在深层网络中；二是采用了不合适的损失函数，比如sigmoid（导数最大为0.25，神经网络的反向传播是逐层对函数偏导相乘，因此当神经网络层数非常深的时候，最后一层产生的偏差就因为乘了很多的小于1的数而越来越小，最终就会变为0，从而导致层数比较浅的权重没有更新，这就是梯度消失。）。

梯度爆炸：一般出现在深层网络和权值初始化值太大的情况下。前面层会比后面层变化的更快，就会导致权值越来越大，梯度爆炸的现象就发生了。

前向传播得到的结果与实际的结果得到一个偏差，然后通过梯度下降法的思想，通过偏导数与残差的乘积通过从最后一层逐层向前去改变每一层的权重。通过不断的前向传播和反向传播不断调整神经网络的权重，最终到达预设的迭代次数或者对样本的学习已经到了比较好的程度后，就停止迭代，那么一个神经网络就训练好了。 　　

反向传播是梯度的连乘向前传更新权重。如果此部分大于1，那么层数增多的时候，最终的求出的梯度更新将以指数形式增加，即发生梯度爆炸；如果此部分小于1，那么随着层数增多，求出的梯度更新信息将会以指数形式衰减，即发生了梯度消失。

结构张量(structure tensor) 主要用于区分图像的平坦区域、边缘区域与角点区域。

此处的张量就是一个关于图像的结构矩阵，矩阵结构构成如下：

Rx,Ry分别为图像的水平与垂直梯度，而后进行求矩阵T的行列式K与迹(trace)H。

根据K与H的关系来求得区分图像的平坦、边缘与角点区域：

平坦区域：H=0;

边缘区域：H>0 && K=0;

角点区域：H>0 && K>0;

该方法实际应用实例如下：

原图：

目前，我们可以使用像Keras、TensorFlow或PyTorch这些高级的、专业的库和框架而不需要一直担心权重矩阵的大小，也不需要记住决定使用的激活函数的导数公式。通常我们只需要构建一个神经网络，即使是一个结构非常复杂的神经网络，也只需要导入一些库和几行代码。这节省了我们找出bug的时间，并简化了工作。然而，如果了解神经网络内部发生的事情，对架构选择、超参数调优或优化等任务有很大帮助。本文源代码可以在我的GitHub上找到。

介绍

为了更多地了解神经网络的原理，我决定写一篇文章，一部分是为了我自己，一部分为了帮助其他人理解这些有时难以理解的概念。对于那些对代数和微积分不太熟悉的人，我会尽量详细一些，但正如标题所示，这是一篇涉及很多数学的文章。

撇开乌托邦式的担忧或者自信，文章梳理了25个真实的商业应用场景。

现在，是时候真正了解 AI 未来。

关于人工智能引起的焦虑 - 就业问题是其主要来源 - 现实是，没有人知道未来会如何。原因是，我们永远无法预见人类的聪明才智，以及全世界数百万企业家和管理者采用技术的方式。

邮政局长亚瑟·萨默菲尔德（Arthur Summerfield）曾在 1959 年自信地预测，经济增长意味着更多的信件，邮政工人的未来似乎很光明，尽管电子邮件，短信和蜂窝网络技术的初级形式当时已经存在，但人类不会再在纸上写信的可能性，Summerfield 从未想到过。

要记住的第二个现实是，AI 的最终用途将主要由市场力量决定。

人工智能将被公司和消费者用于无数的实际目的，其中大多数是适度的，并且无法预见累积效应。当我们试图猜测人工智能的未来时，关键在于要像真实生活中自利的人（包括好人和坏人）那样思考。

以下，人工智能正在发挥作用的这 25 个例子是有益的，甚至鼓舞人心 - 而且，它们是真实的。

人工智能如何改变你的工作方式

让我们都说同一种语言

什么是机器视觉?

机器视觉是一项综合技术，包括图像处理、机械工程技术、控制、电光源照明、光学成像、传感器、模拟与数字视频技术、计算机软硬件技术(图像增强和分析算法、图像卡、I/O卡等)。一个典型的机器视觉应用系统包括图像捕捉、光源系统、图像数字化模块、数字图像处理模块、智能判断决策模块和机械控制执行模块。

机器视觉是实现工业自动化和智能化的必要手段，相当于人类视觉在机器上的延伸。机器视觉具有高度自动化、高效率、高精度和适应较差环境等优点，将在我国工业自动化的实现过程中产生重要作用。

机器视觉系统的应用领域和应用范围非常广泛，工业领域是机器视觉应用比重大的领域，主要用于产品质量检测、分类、机器人定位装等，一方面替代人工视觉，另一方面用于提高生产的柔性和自动化程度。随着我国工业的产业升级，产品质量要求的提高及人力成本的增加，机器视觉系统的应用将越来越广泛。

机器视觉产业具体应用统计情况

1、boosting与bagging的概念：

（1）bagging：从原始数据中随机抽样得到S个同样大小的数据集，来训练S个基学习器，各学习器之间互不依赖。是一种并行的方法。

各分类器的权重都是相等的。分类结果是用这S个分类器进行分类，选择分类器投票结果中最多的类别作为最后的分类结果。
（抽样方法为有放回的抽样：允许每个小数据集中可以有重复的值。）

bagging对于弱学习器没有限制，这和Adaboost一样。但是最常用的一般也是决策树和神经网络。

bagging的集合策略也比较简单，对于分类问题，通常使用简单投票法，得到最多票数的类别或者类别之一为最终的模型输出。对于回归问题，通常使用简单平均法，对T个弱学习器得到的回归结果进行算术平均得到最终的模型输出。

优点：

a. 算法每次都进行采样来训练模型，泛化能力很强，对于降低模型的方差很有作用，当然对于训练集的拟合程度就会差一些，也就是模型的偏倚会大一些；

2017年7月国务院印发《新一代人工智能发展规划的通知》，如今人工智能已上升为“国家战略”。

2018年4月教育部印发《高等学校人工智能创新行动计划》，工智能毋庸置疑是新时代的热词之一，在普通高中课程方案和课程标准（2017年版）中也有看到：在信息技术、通用技术、数学等课标中，要求学生学习了解物联网、人工智能（AI）、大数据处理等内容，特别强调创新精神、逻辑思维能力、实践能力的培养。

如果你想进军人工智能行业，小编推荐几本必读书籍。

《未来简史》+《人类简史》作者：尤瓦尔.赫拉利

人类简史内容简介

无人驾驶的操作流程，没有大家想的那么复杂。大家完全可以根据自己开车的实践，推断出自动驾驶应该包括那些内容。传统意义上，很多论文或者教材都喜欢把自动驾驶分成感知、预测、规划和控制四个部分，但是我个人喜欢再添加两个部分，即导航和停车，这样会构成一个更完整的整体。

1、导航

当车辆开始启动的时候，我们会输入起始地址和目的地址。有了这两个地址，软件就可以帮助我们规划合理的行驶路线。目前导航这一块已经很成熟了，百度导航和高德导航也做的很好。

2、感知

所谓感知，就是车辆需要定位自身的位置，同时它还需要了解周围的环境。为了做到这些，一般自动驾驶车辆需要安装1-n个激光雷达、1-2个长距离毫米波雷达，4个左右短距离毫米波雷达，8-12个摄像头雷达，8-12个超声波雷达，gps＋imu定位系统，同时还要安装高清地图。有了这些传感器和软件，车辆才能进行数据分析、信息融合，获取周围的环境信息。

3、预测

大数据文摘出品 / 编译：罗然、云舟

为了应对宇宙数据即将出现的指数级增长趋势，天体物理学家也开始将目光投向机器学习。

Kevin Schawinski的问题

2007年，他在牛津大学担任天体物理学家，努力回顾了斯隆数字巡天计划中超过900,000个星系七年中有价值的照片。他花了几天时间翻来覆去观察这些图像，并记录下了一个星系是螺旋形还是椭圆形的，以及它的旋转方式。

技术的进步加快了科学家收集信息的能力，但科学家们处理信息的速度却没有相应提升。 Schawinski和同事Chris Lintott花费了大量的时间来处理这个任务(即是上面提到处理星辰图像的任务)，但并没有得到良好的效果，因此，他们决定必须找到更好的方法来解决这个问题。

Schawinski和Lintott通过一个名为Galaxy Zoo的公民科学项目从公众中招募志愿者来帮助他们分类网上的星辰图像，并向多名志愿者展示相同的图像以便让他们能够检查彼此的工作。最终，超过10万人参与并完成了这一项任务，如果靠他们自己的话，这项任务可能需要数年时间才能完成，但通过这种方式不到6个月就完成了。

公民科学家继续为图像分类任务做出贡献。但技术也在不断发展。

1、池化层的作用

在卷积神经网络中，卷积层之间往往会加上一个池化层。池化层可以非常有效地缩小参数矩阵的尺寸，从而减少最后全连层中的参数数量。使用池化层即可以加快计算速度也有防止过拟合的作用。

2、为什么max pooling要更常用？