深度学习

在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测准确率较低。

NLP的工程化，不是一个个算法的累积，也不是一个个任务的独立优化，而应该是系统工程，综合考虑语言、计算、场景等多种因素，不断演进融合，寻求效果满意解的过程。根据赫伯特.西蒙（图灵奖和诺贝尔奖双料得主）的有限理性模型，受到所处环境的高度复杂性和有限的信息加工能力限制，因此NLP应用落地时，我们不可能遵循”最优化“的策略，而应该以获取当前可接受的“满意解"为目标。

深度学习在视觉领域取得了巨大的成功，即便如此，深度学习在视觉上仍然有很多的局限性，这篇文章从深度学习的历史开始说起，阐述了深度学习在视觉上的局限性，并给出了一些可能的方案。

本文总结了深度学习中常用的八大类型的卷积，以非常形象的方式帮助你建立直觉理解，为你的深度学习提供有益的参考。分别是单通道卷积、多通道卷积、3D卷积、1 x 1卷积、转置卷积、扩张卷积、可分离卷积、分组卷积。

深度神经网络在2012年兴起，当时深度学习模型能够在传统机器学习问题，例如图像分类和语音识别，击败最先进的传统方法。这要归功于支撑深度学习的各种哲学思想和各种思维。神经网络中经过池化后，得到的是突出化的概括性特征。相比使用所有提取得到的特征，不仅具有低得多的维度，同时还可以防止过拟合。

IoU是一种测量在特定数据集中检测相应物体准确度的一个标准。IoU是一个简单的测量标准，只要是在输出中得出一个预测范围(bounding boxex)的任务都可以用IoU来进行测量。为了可以使IoU用于测量任意大小形状的物体检测，我们需要：① ground-truth bounding boxes（人为在训练集图像中标出要检测物体的大概范围）②我们的算法得出的结果范围。

随着智能家居市场的逐渐成熟，入局的玩家越来越多，看清未来几年的行业趋势，有助于企业更好地决策。2019年智能家居呈现出五大趋势：①语音控制的产品形态增多②技术推动智能家居发展③全屋智能④家居安全成关注重点⑤智能家居B端市场热火朝天

2018年已经结束，现在是开始预测2019深度学习的时候了。以下是我之前对2017年和2018年的预测和回顾：

关于2017年预测和回顾。2017的预测涵盖了硬件加速，卷积神经网络（CNN）的主导地位，元学习，强化学习，对抗性学习，无监督学习，迁移学习，以及作为组成部分的深度学习(DL)，设计模式和超越理论的实验。

关于2018年预测与回顾。2018年的预测涵盖了硬件初创公司，元学习取代SGD，生成模型，自我博弈，语义差距，可解释性，海量数据研究，教学环境，会话认知和人工智能伦理。

通过回顾我的预测表明，我发现我太乐观了，高估了技术发展的速度。总的来说，社区一直处于一种夸大的期望状态。事后看来，是因为忽略了一般认知的潜在复杂性。我们现在必须降低期望，并专注于有希望的领域。这些有希望的领域将逐步取得进展而不是“moon shots”(注：一个疯狂的想法或者不大可能实现的项目)。

革命性进展应该分阶段发生，我们今天遇到的是实现Interventional level的主要障碍。这并不意味着我们不能取得任何进展，而是在目前的成熟度水平中有许多悬而未决的成果，而这些成果已经准备好进行开发，DL在2019年的进展将主要围绕这一务实的认识。

以下是我的预测，与前几年一样，它们可作为跟踪DL进度的指南。

前段时间阅读了Jiwei Li等人[1]在EMNLP2015上发表的论文《When Are Tree Structures Necessary for Deep Learning of Representations?》,该文主要对比了基于树形结构的递归神经网络(Recursive neural network)和基于序列结构的循环神经网络(Recurrent neural network)，在4类NLP任务上进行实验，来讨论深度学习模型何时需要树形结构。下面我将通过分享这篇论文以及查看的一些相关资料来讨论一下我们何时需要树形结构知识。

1 句法分析树

根据不同的标注树库，句法分析树主要有两种形式：
1) 短语结构树(Constituent Tree)
2) 依存结构树(Dependency Tree)。

下面举个简单的例子，"My dog likes eating sausage." 使用Stanford parsing tool进行句法分析可以得到如下结果：

大数据、人工智能是目前大家谈论比较多的话题，它们的应用也越来越广泛、与我们的生活关系也越来越密切，影响也越来越深远，其中很多已进入寻常百姓家，如无人机、网约车、自动导航、智能家电、电商推荐、人机对话机器人等等。