demi的博客

2018年已经结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：

关于2017年预测和回顾。2017的预测涵盖了硬件加速，卷积神经网络（CNN）的主导地位，元学习，强化学习，对抗性学习，无监督学习，迁移学习，以及作为组成部分的深度学习(DL)，设计模式和超越理论的实验。

关于2018年预测与回顾。2018年的预测涵盖了硬件初创公司，元学习取代SGD，生成模型，自我博弈，语义差距，可解释性，海量数据研究，教学环境，会话认知和人工智能伦理。

通过回顾我的预测表明，我发现我太乐观了，高估了技术发展的速度。总的来说，社区一直处于一种夸大的期望状态。事后看来，是因为忽略了一般认知的潜在复杂性。我们现在必须降低期望，并专注于有希望的领域。这些有希望的领域将逐步取得进展而不是“moon shots”(注：一个疯狂的想法或者不大可能实现的项目)。

革命性进展应该分阶段发生，我们今天遇到的是实现Interventional level的主要障碍。这并不意味着我们不能取得任何进展，而是在目前的成熟度水平中有许多悬而未决的成果，而这些成果已经准备好进行开发，DL在2019年的进展将主要围绕这一务实的认识。

以下是我的预测，与前几年一样，它们可作为跟踪DL进度的指南。

GPU，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，与CPU类似，只不过GPU是专为执行复杂的数学和几何计算而设计的，这些计算是图形渲染所必需的。随着人工智能的发展，如今的GPU已经不再局限于3D图形处理了。GPU 加速计算是指同时利用图形处理器 (GPU) 和 CPU，加快科学、分析、工程、消费和企业应用程序的运行速度。

在物联网应用中，数据处理、分析和存储越来越多地发生在网络边缘侧，接近用户和设备需要访问信息的地方。所以，越来越多的企业将边缘计算当成了重要的发展方向。市场研究机构Grand View Research最近的一份报告预测，到2025年，全球边缘计算市场的规模将达到32.4亿美元，在预测期间，边缘计算的复合年增长率(CAGR)将达到41%。

随着企业和政府对网络安全的认识逐渐提高，虽然每年都有数十亿美元的资金投入到网络安全领域，但网络攻击事件仍然层出不穷，从2016年开始，黑客攻击开始了井喷。对于人工智能技术，尽管争论从未停止，但并不妨碍人们对它的利用。原因有三方面......

深度可分离卷积

在《Python深度学习》（Keras之父执笔）这本书里看到：注意，大部分（或全部）普通卷积很可能不久后会被深度可分离卷积(depthwise separable convolution)所替代, 后者与前者等效，但速度更快，表示效率更高。

1. 简介

在可分离卷积中，它将对区域和通道的计算分离开，而普通卷积是同时考虑区域和通道的。

2. 通过例子对比可分离卷积和普通卷积的区别

假设一个3×3大小的filter，其输入通道为16，输出通道为32
普通卷积的参数： （3×3×16）×32=4068
可分离卷积：
先考虑区域，即每个通道对应一个3×3×1大小的filter, 然后考虑通道对应32个1×1×16大小的filter
参数计算： （3×3×1）×16 + （1×1×16）×32=656

下面这张图来自参考链接1

前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network)，在4类NLP任务上进行实验，来讨论深度学习模型何时需要树形结构。下面我将通过分享这篇论文以及查看的一些相关资料来讨论一下我们何时需要树形结构知识。

1 句法分析树

根据不同的标注树库，句法分析树主要有两种形式：
1) 短语结构树(Constituent Tree)
2) 依存结构树(Dependency Tree)。

下面举个简单的例子，"My dog likes eating sausage." 使用Stanford parsing tool进行句法分析可以得到如下结果：

生成模型（Generative Model）是相对于判别模型（Discriminative Model）定义的。他们两个都用于有监督学习。监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。

强化学习（Reinforcement Learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。从本质上看，强化学习是一个通用的问题解决框架，其核心思想是 Trial & Error。

工业相机类型：按照输出信号类型的不同分为模拟相机和数字相机两种。而数字相机按照接口标准不同，可以分为1394相机、USB相机、CameraLink相机以及Gige相机四种。其中CameraLink接口相机能够解决大数据量传送问题；Gige接口相机能够解决长距离、快速传输问题；而1394相机和USB接口相机具有简单易用、性价比高等特点。

目前边缘计算已经得到了各行各业的广泛重视，并且在很多应用场景下开花结果。根据边缘计算领域特定的特点，本文认为6个方向是未来几年迫切需要解决的问题：编程模型、软硬件选型、基准程序与标准、动态调度、与垂直行业的紧密结合以及边缘节点的落地。