1、为什么要用神经网络？
对于非线性分类问题，如果用多元线性回归进行分类，需要构造许多高次项，导致特征特多，学习参数过多，从而复杂度太高 。
在神经网络中引入激活函数一个重要的原因就是为了引入非线性。
2、CNN基本问题
层级结构：输入层->卷积层->激活层->池化层->卷积层->激活层->池化层->全连接层····
（1）输入层数据预处理：去均值；归一化；PCA/白化；
去均值：即0均值化，CNN常用，训练集所有像素值减去均值，把输入数据各个维度中心化到0，测试集也减相同的均值；
目的：（1）数据有过大的均值可能导致参数的梯度过大，在梯度回传时会有一些影响；（2）如果有后续的处理，可能要求数据0均值，比如PCA。
归一化：幅度归一化到同样的范围；
目的：为了让不同维度的数据具有相同的分布规模，方便操作，图像一般不需要。
PCA/白化：降维，白化是对PCA降维后的数据每个特征轴上的幅度归一化；
人工智能等新一代信息技术的快速崛起，推动诸多行业掀起了变革大浪潮。随着智能化、数字化趋势日益凸显，人工智能受到了更多青睐，在各行各业实现了广泛应用，并且开始承担不同的角色，发挥独特的优势。
如何选择卷积核的大小？越大越好还是越小越好？
答案是小而深，单独较小的卷积核也是不好的，只有堆叠很多小的卷积核，模型的性能才会提升。
• CNN的卷积核对应一个感受野，这使得每一个神经元不需要对全局图像做感受，每个神经元只感受局部的图像区域，然后在更高层，将这些感受不同局部的神经元综合起来就可以得到全局信息。这样做的一个好处就是可以减少大量训练的参数。
• VGG经常出现多个完全一样的3×3的卷积核堆叠在一起的情况，这些多个小型卷积核堆叠的设计其实是非常有效的。两个3×3的卷积层串联相当于1个5×5的卷积层，即一个像素会和周围5×5的像素产生关联，可以说感受野是5×5。同时，3个串联的3×3卷积层串联的效果相当于一个7×7的卷积层。除此之外，3个串联的3×3的卷积层拥有比一个7×7更少的参数量，只有后者的 (3×3×3) / (7×7) = 55%。最重要的是3个3×3的卷积层拥有比一个7×7的卷积层更多的非线性变换（前者可以使用三次ReLu激活，而后者只有一次）。
卷积神经网络池化后的特征图大小计算
研究图像特征检测已经有一段时间了，图像特征检测的方法很多，又加上各种算法的变形，所以难以在短时间内全面的了解，只是对主流的特征检测算法的原理进行了学习。总体来说，图像特征可以包括颜色特征、纹理特等、形状特征以及局部特征点等。其中局部特点具有很好的稳定性，不容易受外界环境的干扰，本篇文章也是对这方面知识的一个总结。
本篇文章现在(2015/1/30)只是以初稿的形式，列出了主体的框架，后面还有许多地方需要增加与修改，例如2013年新出现的基于非线性尺度空间的KAZE特征提取方法以及它的改进AKATE等。在应用方面，后面会增一些具有实际代码的例子，尤其是基于特征点的搜索与运动目标跟踪方面。
1. 局部特征点
图像特征提取是图像分析与图像识别的前提，它是将高维的图像数据进行简化表达最有效的方式，从一幅图像的 M × N × 3 的数据矩阵中，我们看不出任何信息，所以我们必须根据这些数据提取出图像中的关键信息，一些基本元件以及它们的关系。
误解一：5G是一场革命要取代4G
最初的5G采用NSA模式部署，即依托于现有4G来扩充网络容量和覆盖。最初的5G与4G非常相似，网络部署也主要利旧现有4G基站资源，这是一次从4G到5G的平滑演进过程。
事实上，不管是NSA还是SA部署模式，4G将在较长时间内继续提供语音、数据和物联网业务，与5G网络共存。
至于我们通常讲的“5G改变社会”，5G要对社会产生革命性的规模影响，还需要时间来孵化。
误解二：5G投资大、资费贵
从单站规模看，5G早期利旧4G基站及配套资源共站部署，可较大节省投资成本。
物联网是与云计算相伴而生的，事实上，正是物联网的概念帮我弄清了对云计算的工作定义。物联网是一个由三个不同的子系统组成的系统:
• 云
• 聚合器
• 智能传感器
上述每一个子系统对于整个物联网系统的功能优化都是必需的。云是终极的计算单元和通用通信网络。智能传感器是通向现实世界的界面。最后，这些聚合者是中间人。对云来说，聚合器看起来像智能传感器，而对智能传感器而言，它看起来像云。
系统的特点
系统的概念一直很有趣，这个术语引出了一些问题。例如,"一个系统存在的最小一组功能是什么?"或者,"一个系统可以由许多其他系统组成吗?"物联网是一个系统的系统。它的三个组件(云、聚合器和智能传感器)都有自己的系统。此外，任何两个组件也可以形成一个完整的IoT系统。例如，与聚合器进行通信的一系列智能传感器可以成为许多应用的一个最佳系统。同时，智能传感器直接对云进行通信也可以是一个最佳的系统。
随着无线通信网络的发展，未来网络在频段和组网上将更加复杂，再加上业务多样性和终端的多类型，无线通信系统的规模和复杂度将日益增长。
对于未来体系庞大的通信系统，无线网络运维将面临诸多挑战，例如虚拟化与网络演进增加运维复杂性，单个问题可能会触发多个网络区域的告警；用户需求对网络运维质量要求提升，期待延迟容忍度从300毫秒降低到10毫秒；网络中可供分析的大量数据难以处理，实时分析数据量将增加1000倍以上等。
无线网络运维中因此而出现了故障分析定位及故障溯源困难、故障无法预测、运维派单不准确、现有的响应式运维模式效率低、客户体验差等问题。面对这些网络运维的压力和挑战，分析、拟合、经验流等传统的处理方法，已经越来越难以解决无线网络运维的问题。
人工智能为网络运维带来曙光
人工智能的再上巅峰，让无线网络的运维系统看到了一线曙光，通过引入AI这柄“利器”，依托人工智能的自学习、深度学习能力，可以在海量的运维数据中抽取隐含的关联特征和规则，追溯事件根因、指导故障分析和定位，同时可以通过共性特征的提取总结，对未来事件进行预测。
业界第一款具备真正意义上的自动驾驶能力的量产车——全新奥迪A8 2017年7月才姗姗来迟。作为整个自动驾驶的第一个量产玩家，奥迪尽管已经走在了行业最前沿，但目前实现的还是3级的自动驾驶，也就是说这是一种在限定环境条件下，需要驾驶员始终有接管能力的自动驾驶，距离无限条件无需接管的自动驾驶还有相当长的路要走。
回头看历史，猛然发觉第一届DARPA自动驾驶挑战赛已经是十年前的事了。对比互联网产业，十年前支付宝还没有手机支付业务，而微信根本还没诞生，再看现在，支付宝和微信已经全面占领了我们的生活。为什么汽车工业的动作慢如蜗牛？自动驾驶到底难在哪里？
事实上，早在车企开始宣传“世界上第一款量产L3级别汽车”的时候，我们就应该揭穿他们的把戏。
自动驾驶的级别从L1到L5（SAE），清晰而直观，是大家讨论自动驾驶行业的一个基准。但是，它也很容易误导人。让人以为自动驾驶的技术会一级一级获得突破，最终迎来一辆L5级别的汽车，可以带我们到任何地方去。
醒醒吧，真实的技术部署从来不会按这样的“计划方案”发展。而且，这个行业里的公司“怎么说的”和“怎么做的”完全不是一回事。你能听到很多人，在画一张同样的大饼：我们在研发自动驾驶，我们将率先发布某个级别的汽车，我们将推出最先进的自动驾驶汽车叫车服务。
聚类算法
任务：将数据集中的样本划分成若干个通常不相交的子集，对特征空间的一种划分。
性能度量：类内相似度高，类间相似度低。两大类：1.有参考标签，外部指标；2.无参照，内部指标。
距离计算：非负性，同一性（与自身距离为0），对称性，直递性（三角不等式）。包括欧式距离（二范数），曼哈顿距离（一范数）等等。
1、KNN
k近邻（KNN)是一种基本分类与回归方法。
其思路如下：给一个训练数据集和一个新的实例，在训练数据集中找出与这个新实例最近的k 个训练实例，然后统计最近的k 个训练实例中所属类别计数最多的那个类，就是新实例的类。其流程如下所示：
1、计算训练样本和测试样本中每个样本点的距离（常见的距离度量有欧式距离，马氏距离等）；
2、对上面所有的距离值进行排序；
3、选前k 个最小距离的样本；
4、根据这k 个样本的标签进行投票，得到最后的分类类别；
KNN的特殊情况是k =1 的情况，称为最近邻算法。对输入的实例点（特征向量）x ，最近邻法将训练数据集中与x 最近邻点的类作为其类别。
在之前系列中已大致了解了机器学习的形式化定义和神经网络的概念，在本小节中，将相对深入地探讨一下神经网络中的神经元模型以及深度学习常常用到的激活函数及卷积函数。
3.1 M-P神经元模型是什么？
在前一小节中，已介绍了人工神经网络（ANNs）的定义。简单来说，它是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。
神经网络依靠系统的复杂程度，通过调整内部大量“简单单元”之间相互连接的关系，从而达到处理信息的目的，并具有自学习和自适应的能力。
在上述定义中提及到的“简单单元”，其实就是神经网络中的最基本元素——神经元模型。在生物神经网络中，每个神经元与其它神经元，通过突触联接。神经元之间的“信息”传递，属于化学物质传递的。当它“兴奋（fire）”时，就会向与它相连的神经元发送化学物质（神经递质, neurotransmiter），从而改变这些神经元的电位；如果某些神经元的电位超过了一个“阈值（threshold）”，那么，它就会被“激活（activation）”，也就是“兴奋”起来，接着向其它神经元发送化学物质，犹如涟漪，就这样一层接着一层传播，如图3-1所示。