你好，欢迎阅读长短期记忆网络（LSTM）和门控循环单元（GRU）的图解文章。我是Michael，是AI语音助理领域的机器学习工程师。
在这篇文章中，我们将从LSTM和GRU背后的原理出发。然后我将解释允许LSTM和GRU表现良好的内部机制。如果你想了解这两个网络的背后到底是什么，那么这篇文章就是为你准备的。
问题根源短期记忆
递归神经网络(RNN)具有短期记忆。如果序列足够长，他们将很难将信息从较早的时间步骤传送到后面的步骤。因此，如果你正在尝试对一段文本进行预测，RNN可能会从一开始就遗漏掉重要信息。
在反向传播期间，递归神经网络（RNN）会遇到梯度消失问题。梯度是用于更新神经网络权重的值。梯度消失问题是当梯度随着时间的推移传播时梯度下降。如果梯度值变得非常小，则不会继续学习。
背景
CNN能够对图片进行分类，可是怎么样才能识别图片中特定部分的物体，在2015年之前还是一个世界难题。神经网络大神Jonathan Long发表了《Fully Convolutional Networks for Semantic Segmentation》在图像语义分割挖了一个坑，于是无穷无尽的人往坑里面跳。
全卷积网络 Fully Convolutional Networks
CNN 与 FCN
如今，“万物互联”不只是一种愿景，在很多实际的应用场景里面，已经实现了局部的物联网，如工业自动化、智慧农业、智能公交、高端酒店等场所。物联网是未来十年最具有市场前景的领域，相关的无线通讯技术也逐步出现。
在实现物联网的通讯技术里面，蓝牙、zigbee、Wi-Fi、GPRS、NFC等是应用最为广泛的无线技术。除了这些，还有很多无线技术，它们在各自适合的场景里默默耕耘，扮演着不可或缺的角色。本文笔者将通过常见的十大无线通讯技术优劣及应用场景，带大家认识真正的物联网通讯技术。
十大物联网通讯技术优劣及应用场景
1、蓝牙的技术特点
AI在安全方面的角色对白帽黑客和网络罪犯都很有吸引力，但目前似乎还没有找到双方的平衡。
人工智能已经成为网络安全开发者的新宝藏，这要归功于它的潜力，它不仅可以在很大的规模上实现功能自动化，还可以根据它在一段时间内学到的东西来做出相应的决策。这可能会对安全维护人员产生重大影响——通常情况下，公司根本没有足够的资源在众多恶意软件中“大海捞针”。
例如，如果一名工作人员通常在纽约工作，突然有一天早上从匹兹堡登录，这是一种反常现象——人工智能可以看出这是一种反常现象，因为它已经学会了期望用户从纽约登录。类似地，如果该用户在匹兹堡登录后，在几分钟后又在另一个地方登录，比如加州，那么这很可能是一个恶意的危险信号。
因此，在最简单的层面上，人工智能和“机器学习”围绕的是对行为规范的理解。系统需要一些时间来观察环境，以了解什么是正常的行为，并建立一个基准线——这样它就可以通过将算法知识应用到数据集来获取偏离规范的偏差。
针对网络安全的AI可以以多种方式帮助防御者。然而，人工智能的出现也有不利的方面。首先，网络犯罪分子也利用了这项技术，很明显，它可以被用于各种恶意的任务。比如对开放的、易受攻击的端口进行的扫描，或者是电子邮件的自动组合，这些邮件具有公司首席执行官的准确语气和声音，被24小时窃听。
2020年5G开始商用，但是由于覆盖面积有限，或许只能覆盖市区热点区域，很长一段时间内4G还将是起到主要覆盖的数据网络。
就5G建设本身而言，在短短的一年左右的时间内，建站的数量一定是有限的。
4G网络，移动从2013年建设到今天，联通电信从2015年开始到今天，也只是完成了城市和郊区的基本覆盖，广大农村区域覆盖还有所欠缺。而5G即使是从现在就开始建设，到2020年也就是1年多的时间，不可能完成如今天4G的网络覆盖。也就是说，在很长一段时间内4G的数据网络覆盖区域要大于5G，而作为主要数据承载网络的4G也就不会轻易被淘汰。
5G本身而言，主要是涉及到一些高端的应用和行业应用，在大量民用级应用还没有落地的情况下，暂时找不到引导个人用户使用的应用场景。
在机器学习中，性能指标（Metrics）是衡量一个模型好坏的关键，通过衡量模型输出y_predict和y_true之间的某种“距离”得出的。
性能指标往往使我们做模型时的最终目标，如准确率，召回率，敏感度等等，但是性能指标常常因为不可微分，无法作为优化的loss函数，因此采用如cross-entropy，rmse等“距离”可微函数作为优化目标，以期待在loss函数降低的时候，能够提高性能指标。而最终目标的性能指标则作为模型训练过程中，作为验证集做决定(early stoping或model selection)的主要依据，与训练结束后评估本次训练出的模型好坏的重要标准。
在机器学习的比赛中，有部分比赛也是用metrics作为排名的依据（当然也有使用loss排名）。
在使用机器学习算法的过程中，针对不同的场景需要不同的评价指标，常用的机器学习算法包括分类，回归，聚类等几大类型，在这里对常用的指标进行一个简单的总结，小编总结了前人的很多博客，知乎等，方便自己学习。当然，需要的同学们也可以看一下。
一，分类
CAN总线在整个无人驾驶系统中有着十分重要的作用。除了在VCU信号需要通过CAN总线进行传输外，无人车上的某些传感器（如雷达、Mobileye）的信号传递也是通过CAN实现的。
前言
本文主要内容是——无人驾驶中的CAN（Controller Area Network ）总线。
CAN总线在整个无人驾驶系统中有着十分重要的作用。除了在VCU信号需要通过CAN总线进行传输外，无人车上的某些传感器（如雷达、Mobileye）的信号传递也是通过CAN实现的。
我在无人驾驶，个人如何研究？中提到过
实现一个无人驾驶系统，会有几个层级： 感知层 → 融合层 → 规划层 → 控制层 更具体一点为： 传感器层 → 驱动层 → 信息融合层 → 决策规划层 → 底层控制层
“传感器层”在之前的分享中已经介绍过了，这次主要介绍的是“驱动层”相关的内容。
正文
你是否还在为无线通信选用NB-IoT还是LoRa而困扰？搞不清楚ZigBee和LoRa的优势区别，不明白到底什么场合适用Wi-Fi？看完这篇文章你就懂了。
在万物互联的时代里，越来越多的物体将被连接到互联网，打通端到端、端到云的连接。这些连接，我们可采用多种通信链路予以实现。在智能物联应用上，工程师经常会困惑NB-IoT/LoRa/ZigBee/Wi-Fi等无线连接方式，到底哪一种，才是最合适的？哪一种才能让项目开发事半功倍？
以下，为大家列出在选择无线通信方式时的考虑大纲。
一、传输基础篇
距离：遮挡、空旷情况下节点到网关的距离。
速率：传输数据量有多大？
实时性：能接受的响应延时？
功耗：电池寿命，能效，可能需要连接交流电。
容量：一定范围内联网节点、设备的数量。
环境：工厂中的危险环境、暴露在天气中的室外环境、来自电子设备的噪声或电磁干扰等。
通信方式：单向还是双向通信。
二、附加功能篇
目前的语音识别算法：卷积神经网络、深度学习神经网络、BP神经网络、RBF神经网络、模糊聚类神经网络、改进的T-S模糊神经网络、循环神经网络、小波神经网络、混沌神经网络、小波混沌神经网络、神经网络和遗传算法、动态优化神经网络、K均值和神经网络集成、HMM与自组织神经网络的结合、正交基函数对向传播过程神经网络、HMM和新型前馈型神经网络、特征空间随机映射、SVM多类分类算法、特征参数归一化、多频带谱减法、独立感知理论、分段模糊聚类算法VQ-HMM、优化的竞争算法、双高斯GMM特征参数、MFCC和GMM、MFCCs和PNN、SBC和SMM、MEL倒谱系数和矢量量化、DTW、LPCC和MFCC、隐马尔科夫模型HMM。
由于BP算法在神经网络的层数增多时容易陷入局部最优的困境，也很容易产生过拟合的问题。20世纪90年代,各种各样的浅层机器学习模型相继被提出,如支撑向量机(Support Vector Machines, SVM)、Boosting、最大熵方法(如 Logistic Regression, LR)等。这些模型具有高效的学习算法,且不存在局部最优的问题,在理论分析与实际应用中都获得了巨大的成功。相比之下,MLP的训练需要很多经验和技巧,多层前馈神经网络的研究逐渐变得冷清。
调色板
调色板（Palette）也叫颜色查找表，是指在16色（每个像素4个bit，总共有16种颜色）或256色（每个像素8个bit，即一个字节，总共有256种颜色）显示系统中由图像中出现最频繁的16种或256种颜色所组成的查找表。对这些颜色按4位(16色)或8位(256色)，即0-15或0-255进行编号，每一个编号(索引值)代表R，G，B，3个分量24位的颜色值。使用调色板的图像叫做调色板图像。对于调色板图像而言，它们的像素值并不是颜色值，而是颜色在调色板查找表中的索引号。
图像的颜色处理
自然界的颜色可以简单地分为黑白色(包括灰度级)和彩色两种。
彩色图像处理分为3个主要处理领域，即真彩色，假彩色和伪彩色处理领域。在真彩色处理中，被处理的图像一般从真彩色传感器中获得，例如彩色摄像头或彩色扫描仪；假彩色处理时一种尽量接近真彩色的人工彩色处理技术；伪彩色处理时将彩色分配给某种灰度(强度或强度范围)，以增强辨识能力。
1、将256色位图转换为灰度图