人工智能的目标就是最优化：在复杂环境与多体交互中做出最优决策。几乎所有的人工智能问题最后都会归结为一个优化问题的求解，因而最优化理论是人工智能必备的基础知识。
最优化理论（optimization）研究的问题是判定给定目标函数的最大值（最小值）是否存在，并找到令目标函数取到最大值（最小值）的数值。
要实现最小化或最大化的函数被称为目标函数（objective function）或评价函数，大多数最优化问题都可以通过使目标函数 f ( x ) 最小化解决，最大化问题则可以通过最小化 − f( x ) 实现。
实际的最优化算法既可能找到目标函数的全局最小值（global minimum），也可能找到局部极小值（local minimum），两者的区别在于全局最小值比定义域内所有其他点的函数值都小；而局部极小值只是比所有邻近点的函数值都小。
理想情况下，最优化算法的目标是找到全局最小值。但找到全局最优解意味着在全局范围内执行搜索。
目前实用的最优化算法都是找局部极小值。
2018年已经结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：
关于2017年预测和回顾。2017的预测涵盖了硬件加速，卷积神经网络（CNN）的主导地位，元学习，强化学习，对抗性学习，无监督学习，迁移学习，以及作为组成部分的深度学习(DL)，设计模式和超越理论的实验。
关于2018年预测与回顾。2018年的预测涵盖了硬件初创公司，元学习取代SGD，生成模型，自我博弈，语义差距，可解释性，海量数据研究，教学环境，会话认知和人工智能伦理。
通过回顾我的预测表明，我发现我太乐观了，高估了技术发展的速度。总的来说，社区一直处于一种夸大的期望状态。事后看来，是因为忽略了一般认知的潜在复杂性。我们现在必须降低期望，并专注于有希望的领域。这些有希望的领域将逐步取得进展而不是“moon shots”(注：一个疯狂的想法或者不大可能实现的项目)。
革命性进展应该分阶段发生，我们今天遇到的是实现Interventional level的主要障碍。这并不意味着我们不能取得任何进展，而是在目前的成熟度水平中有许多悬而未决的成果，而这些成果已经准备好进行开发，DL在2019年的进展将主要围绕这一务实的认识。
以下是我的预测，与前几年一样，它们可作为跟踪DL进度的指南。
GPU，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上图像运算工作的微处理器，与CPU类似，只不过GPU是专为执行复杂的数学和几何计算而设计的，这些计算是图形渲染所必需的。随着人工智能的发展，如今的GPU已经不再局限于3D图形处理了。GPU 加速计算是指同时利用图形处理器 (GPU) 和 CPU，加快科学、分析、工程、消费和企业应用程序的运行速度。
在物联网应用中，数据处理、分析和存储越来越多地发生在网络边缘侧，接近用户和设备需要访问信息的地方。所以，越来越多的企业将边缘计算当成了重要的发展方向。市场研究机构Grand View Research最近的一份报告预测，到2025年，全球边缘计算市场的规模将达到32.4亿美元，在预测期间，边缘计算的复合年增长率(CAGR)将达到41%。
随着企业和政府对网络安全的认识逐渐提高，虽然每年都有数十亿美元的资金投入到网络安全领域，但网络攻击事件仍然层出不穷，从2016年开始，黑客攻击开始了井喷。对于人工智能技术，尽管争论从未停止，但并不妨碍人们对它的利用。原因有三方面......
深度可分离卷积
在《Python深度学习》（Keras之父执笔）这本书里看到：注意，大部分（或全部）普通卷积很可能不久后会被深度可分离卷积(depthwise separable convolution)所替代, 后者与前者等效，但速度更快，表示效率更高。
1. 简介
在可分离卷积中，它将对区域和通道的计算分离开，而普通卷积是同时考虑区域和通道的。
2. 通过例子对比可分离卷积和普通卷积的区别
假设一个3×3大小的filter，其输入通道为16，输出通道为32
普通卷积的参数： （3×3×16）×32=4068
可分离卷积：
先考虑区域，即每个通道对应一个3×3×1大小的filter, 然后考虑通道对应32个1×1×16大小的filter
参数计算： （3×3×1）×16 + （1×1×16）×32=656
下面这张图来自参考链接1
前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network)，在4类NLP任务上进行实验，来讨论深度学习模型何时需要树形结构。下面我将通过分享这篇论文以及查看的一些相关资料来讨论一下我们何时需要树形结构知识。
1 句法分析树
根据不同的标注树库，句法分析树主要有两种形式：
1) 短语结构树(Constituent Tree)
2) 依存结构树(Dependency Tree)。
下面举个简单的例子，"My dog likes eating sausage." 使用Stanford parsing tool进行句法分析可以得到如下结果：
生成模型（Generative Model）是相对于判别模型（Discriminative Model）定义的。他们两个都用于有监督学习。监督学习的任务就是从数据中学习一个模型（也叫分类器），应用这一模型，对给定的输入X预测相应的输出Y。这个模型的一般形式为决策函数Y=f(X)或者条件概率分布P(Y|X)。
强化学习（Reinforcement Learning，简称RL）是机器学习中的一个领域，强调如何基于环境而行动，以取得最大化的预期利益。从本质上看，强化学习是一个通用的问题解决框架，其核心思想是 Trial & Error。
工业相机类型：按照输出信号类型的不同分为模拟相机和数字相机两种。而数字相机按照接口标准不同，可以分为1394相机、USB相机、CameraLink相机以及Gige相机四种。其中CameraLink接口相机能够解决大数据量传送问题；Gige接口相机能够解决长距离、快速传输问题；而1394相机和USB接口相机具有简单易用、性价比高等特点。