自然语言处理

自然语言处理中的Encoder-Decoder模型

Encoder-Decoder(编码-解码)是深度学习中非常常见的一个模型框架,比如无监督算法的auto-encoding就是用编码-解码的结构设计并训练的;比如这两年比较热的image caption的应用,就是CNN-RNN的编码-解码框架;再比如神经网络机器翻译NMT模型,往往就是LSTM-LSTM的编码-解码框架。

隐马尔科夫模型HMM(四)维特比算法解码隐藏状态序列

在本篇我们会讨论HMM模型最后一个问题的求解,即即给定模型和观测序列,求给定观测序列条件下,最可能出现的对应的隐藏状态序列。在阅读本篇前,建议先阅读这个系列的第一篇以熟悉HMM模型。

自然语言处理之条件随机场CRF(二)

在条件随机场CRF(一)中我们总结了CRF的模型,主要是linear-CRF的模型原理。本文就继续讨论linear-CRF需要解决的三个问题:评估,学习和解码。这三个问题和HMM是非常类似的,本文关注于第一个问题:评估。第二个和第三个问题会在下一篇总结。

自然语言处理之条件随机场CRF(一)

条件随机场(Conditional Random Fields, 以下简称CRF)是给定一组输入序列条件下另一组输出序列的条件概率分布模型,在自然语言处理中得到了广泛应用。本系列主要关注于CRF的特殊形式:线性链(Linear chain) CRF。本文关注与CRF的模型基础。

隐马尔科夫模型HMM(二)前向后向算法评估观察序列概率

在隐马尔科夫模型HMM(一)HMM模型中,我们讲到了HMM模型的基础知识和HMM的三个基本问题,本篇我们就关注于HMM第一个基本问题的解决方法,即已知模型和观测序列,求观测序列出现的概率。

隐马尔科夫模型HMM(一)HMM模型

隐马尔科夫模型(Hidden Markov Model,以下简称HMM)是比较经典的机器学习模型了,它在语言识别,自然语言处理,模式识别等领域得到广泛的应用。当然,随着目前深度学习的崛起,尤其是RNN,LSTM等神经网络序列模型的火热,HMM的地位有所下降。

自然语言处理之ELMO模型

word embedding 是现在自然语言处理中最常用的 word representation 的方法,常用的word embedding 是word2vec的方法,然而word2vec本质上是一个静态模型,也就是说利用word2vec训练完每个词之后,词的表示就固定了......这种情况对于多义词是非常不友好的......

迁移学习在自然语言处理领域的应用

迁移学习近年来在图形领域中得到了快速的发展,主要在于某些特定的领域不具备足够的数据,不能让深度模型学习的很好,需要从其它领域训练好的模型迁移过来,再使用该模型进行微调,使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力(不过拟合)。

【译】把胶囊网络用到自然语言处理中会发生什么

本文要讲的是研究人员在应用CapsNet(胶囊网络)进行文本分类时发现了什么。我们需要了解下列的网络层次以及相应的算法。N-gram卷积层是标准的卷积层,通过多个不同的卷积核在句子的不同位置提取N-gram特征。主胶囊层是第一个胶囊层,在这个胶囊层中,胶囊将卷积操作的标量输出替换为矢量输出,从而保留实例化参数,如单词的局部顺序和单词的语义表示。