自然语言处理

条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型，在自然语言处理中得到了广泛应用。本系列主要关注于CRF的特殊形式：线性链(Linear chain) CRF。本文关注与CRF的模型基础。

在隐马尔科夫模型HMM（一）HMM模型中，我们讲到了HMM模型的基础知识和HMM的三个基本问题，本篇我们就关注于HMM第一个基本问题的解决方法，即已知模型和观测序列，求观测序列出现的概率。

隐马尔科夫模型（Hidden Markov Model，以下简称HMM）是比较经典的机器学习模型了，它在语言识别，自然语言处理，模式识别等领域得到广泛的应用。当然，随着目前深度学习的崛起，尤其是RNN，LSTM等神经网络序列模型的火热，HMM的地位有所下降。

word embedding 是现在自然语言处理中最常用的 word representation 的方法，常用的word embedding 是word2vec的方法，然而word2vec本质上是一个静态模型，也就是说利用word2vec训练完每个词之后，词的表示就固定了......这种情况对于多义词是非常不友好的......

迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。

本文要讲的是研究人员在应用CapsNet（胶囊网络）进行文本分类时发现了什么。我们需要了解下列的网络层次以及相应的算法。N-gram卷积层是标准的卷积层，通过多个不同的卷积核在句子的不同位置提取N-gram特征。主胶囊层是第一个胶囊层，在这个胶囊层中，胶囊将卷积操作的标量输出替换为矢量输出，从而保留实例化参数，如单词的局部顺序和单词的语义表示。

迁移学习

迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。

在迁移学习任务中，需要事先定义一组源数据集合，使用该集合训练得到预训练好的模型，该模型具备了源数据集合中的一些知识，在目标数据集合上微调该预训练的模型，使得模型能够很好地完成目标数据集合定义的任务，即完成了迁移学习。

由于深度学习模型结构复杂，在NLP领域中迁移学习不够成熟，不知道如何进行迁移、迁移模型的哪个结构部分、源数据集合与目标数据集合之间需要满足怎样的关系。本文以CNN文本分类任务为例进行描述，总结一下迁移学习在NLP领域文本分类任务中的一些经验。

CNN文本分类模型框架

人工智能（AI）和机器学习（ML）是目前最热门的话题。

术语“AI”每天无处不在。经常听到有抱负的开发者说他们想要学习人工智能。还听到高管们说他们希望在他们的服务中实施AI。但很多时候，很多人都不明白AI是什么。

阅读完本文后，您将了解AI和ML的基础知识。更重要的是，您将了解最受欢迎的ML类型深度学习是如何工作的。

背景

了解深度学习如何运作的第一步是掌握重要术语之间的差异。

人工智能与机器学习

人工智能是人类智能在计算机中的复制。

当AI研究首次开始时，研究人员正试图复制人类智能以执行特定任务 - 比如玩游戏。

他们介绍了计算机需要尊重的大量规则。计算机有一个特定的可能操作列表，并根据这些规则做出决策。

机器学习是指机器使用大型数据集而不是硬编码规则进行学习的能力。

ML允许计算机自己学习。这种类型的学习利用了现代计算机的处理能力，可以轻松处理大型数据集。

监督学习与无监督学习

本文翻译自李航老师发表在 National Science Review 上关于自然语言处理中的深度学习文章，该文讨论了目前存在的优势与挑战。

1. 引言

深度学习指学习和使用 “深度” 人工神经网络的机器学习技术，比如深度神经网络（DNN）、卷积神经网络（CNN）和循环神经网络（RNN）。近来，深度学习成功地应用在 NLP 中并取得了很多重要的进展。这篇文章总结了深度学习在 NLP 中取得的进展，最后讨论它的优势和面临的挑战。