demi的博客

Batch Normalization作为最近一年来DL的重要成果，已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因，但是实践证明好用才是真的好，别忘了DL从Hinton对深层网络做Pre-Train开始就是一个经验领先于理论分析的偏经验的一门学问。本文是对论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》的导读。

机器学习领域有个很重要的假设：IID独立同分布假设，就是假设训练数据和测试数据是满足相同分布的，这是通过训练数据获得的模型能够在测试集获得好的效果的一个基本保障。那BatchNorm的作用是什么呢？BatchNorm就是在深度神经网络训练过程中使得每一层神经网络的输入保持相同分布的。

接下来一步一步的理解什么是BN。

为什么深度神经网络随着网络深度加深，训练起来越困难，收敛越来越慢？这是个在DL领域很接近本质的好问题。很多论文都是解决这个问题的，比如ReLU激活函数，再比如Residual Network，BN本质上也是解释并从某个不同的角度来解决这个问题的。

术语和概念

为了更好的理解物理引擎，需要先了解下面的一些术语，概念。

刚体(Bodies)

刚体(Bodies) 描述了抽象物体的物理属性，包括：质量、位置、旋转角度、速度和阻尼。Cocos2d-x 中用 PhysicsBody 对象表示刚体。当刚体和形状关联后，刚体对象才具有几何形状，未关联形状， 刚体只是一个抽象物体的物理属性集。

材质(Material)

材质(Material) 描述了抽象物体的材料属性：

成为一名合格的开发工程师不是一件简单的事情，需要掌握从开发到调试到优化等一系列能力，这些能力中的每一项掌握起来都需要足够的努力和经验。而要成为一名合格的机器学习算法工程师(以下简称算法工程师)更是难上加难，因为在掌握工程师的通用技能以外，还需要掌握一张不算小的机器学习算法知识网络。

下面我们就将成为一名合格的算法工程师所需的技能进行拆分，一起来看一下究竟需要掌握哪些技能才能算是一名合格的算法工程师。

基础开发能力

一、图简介，图卷积网络的出现。

图（graph）是一种数据格式，它可以用于表示社交网络、通信网络、蛋白分子网络等，图中的节点表示网络中的个体，连边表示个体之间的连接关系。许多机器学习任务例如社团发现、链路预测等都需要用到图结构数据，因此图卷积神经网络的出现为这些问题的解决提供了新的思路。

下图就是一个简单的图结构数据：

介绍：

在游戏运行的时候，数据主要存储在内存中，当游戏的数据在不需要的时候，存储当前数据的内存就可以被回收以再次使用。内存垃圾是指当前废弃数据所占用的内存，垃圾回收（GC）是指将废弃的内存重新回收再次使用的过程。

Unity中将垃圾回收当作内存管理的一部分，如果游戏中废弃数据占用内存较大，则游戏的性能会受到极大影响，此时垃圾回收会成为游戏性能的一大障碍点。

本文我们主要学习垃圾回收的机制，垃圾回收如何被触发以及如何提GC收效率来提高游戏的性能。

Unity内存管理机制简介

要想了解垃圾回收如何工作以及何时被触发，我们首先需要了解unity的内存管理机制。Unity主要采用自动内存管理的机制，开发时在代码中不需要详细地告诉unity如何进行内存管理，unity内部自身会进行内存管理。这和使用C++开发需要随时管理内存相比，有一定的优势，当然带来的劣势就是需要随时关注内存的增长，不要让游戏在手机上跑“飞”了。

unity的自动内存管理可以理解为以下几个部分：

计算机视觉(Computer Vision, CV) & 机器视觉（Machine Vision, MV） 从学科分类上， 二者都被认为是 Artificial Intelligence 下属科目。

什么是计算机视觉？

“计算机视觉”是指用计算机实现人的视觉功能，对客观世界的三维场景的感知、识别和理解。计算机视觉是一个处于指示前沿的领域。我们认为计算机视觉，或简称为“视觉”，是一项事业，它与研究人类或动物的视觉是不同的。它借助于几何、物理和学习技术来构筑模型，从而用统计的方法来处理数据。

因此从我们的角度看，在透彻理解摄像机性能与物理成像过程的基础上，视觉对每个像素进行简单的推理，将在多幅图像中可能得到的信息综合成和谐的整体，确定像素集之间的联系以便将它们彼此分割开，或推断一些形状信息，使用几何信息或概率统计技术来识别物体。

什么是机器视觉？

据权威机构统计，2018年，全球智能家居市场规模预计将达到710亿美元。高热度的市场，也表明传统家居已无法满足年轻人对生活品质的需求，智能家居成为居家生活的必备产品。本文将带你纵观智能家居行业生态，了解2019智能家居发展的7大趋势。

一、可穿戴式智能设备

随着智能家居的火热发展，人们在熟悉了可穿戴设备对于睡眠习惯和身体各项指标的监测后，愈发期待可穿戴设备与智能家居的互动。

一方面，在终端控制、语音控制智能家居产品之后，人们希望能够研制出控制智能家居产品的可穿戴设备；另一方面，人们也希望现有的可穿戴设备能够与智能家居产品形成互动，以便在忙碌的生活中养成健康的生活习惯，如智能手环与智能体脂称之间数据的互通等等。

二、传感器成为智能家居工作重心

美国对信息技术的认识是：计算机技术是核心，敏感技术、光电子技术是关键和重点，足见美国对于传感器研究的重视。而国内企业竞争力薄弱，传感器市场七成被外资企业所垄断。中国对于传感器的不够重视，使我国智能家居行业虽然引入了人工智能，却仍未解决感知的问题。

虚拟现实系统（Virtual Reality System，简称VR；又译作灵境、幻真）是近年来出现的图形图像领域的高新技术，也被称为灵境技术或人工环境。虚拟现实是利用电脑模拟产生一个三度空间的虚拟世界，提供使用者关于视觉、听觉、触觉等感官的模拟，让使用者如同身历其境一般，可以及时、没有限制地观察三度空间内的事物。

本文主要是对红宝书（第八版）第五章中给出的透视投影矩阵和正交投影矩阵做一个简单推导。投影矩阵的目的是：原始点P(x,y,z)对应后投影点P'(x',y',z')满足x',y',z'∈[-1,1]。

透视投影

下图为透视投影的视锥体：

注：上图中忘了标注了，远裁剪平面距离原点距离为f，近裁剪平面距离原点距离为n。

设P(x0, y0, z0)，我们分别求各个坐标在投影后的值。将P点投影到近平面上，首先看x方向上的投影，沿着过P点，且平行于xoz平面切一刀，有如下图：

无人驾驶的操作流程，没有大家想的那么复杂。大家完全可以根据自己开车的实践，推断出自动驾驶应该包括那些内容。传统意义上，很多论文或者教材都喜欢把自动驾驶分成感知、预测、规划和控制四个部分，但是我个人喜欢再添加两个部分，即导航和停车，这样会构成一个更完整的整体。