作者：Asia-Lee
来源：AsiaLee技术
1、自然语言处理概述
自然语言处理（Natural Language Processing，NLP）是计算机科学领域与人工智能领域中的一个重要方向。它研究人与计算机之间用自然语言进行有效通信的理论和方法。融语言学、计算机科学、数学等于一体的科学。旨在从文本数据中提取信息。目的是让计算机处理或“理解”自然语言，以执行自动翻译、文本分类和情感分析等。自然语言处理是人工智能中最为困难的问题之一。
2、自然语言处理入门基础
2.1 数学基础
（1）线性代数
向量、 矩阵、距离计算（余弦距离、欧式距离、曼哈顿距离、明可夫斯基距离、切比雪夫距离、杰卡德距离、汉明距离、标准欧式距离、皮尔逊相关系数）
（2）概率论
随机试验、条件概率、全概率、贝叶斯定理、信息论
（3）统计学
图形可视化（饼图、条形图、热力图、折线图、箱线图、散点图、雷达图、仪表盘）
数据度量标准（平均数、中位数、众数、期望、方差、标准差）
概率分布（几何分布、二项分布、正态分布、泊松分布）
统计假设检验
2.2 语言学基础
语音、词汇、语法
2.3 Python基础
廖雪峰教程，Python从入门到实践
2.4 机器学习基础
统计学习方法、机器学习周志华、机器学习实战
2.5 深度学习基础
CNN、RNN、LSTM
2.6 自然语言处理的理论基础
统计自然语言处理（宗成庆第二版）、Python自然语言处理、数学之美（第二版）
3、自然语言处理的主要技术范畴
3.1 语义文本相似度分析
语义文本相似度分析是对两段文本的意义和本质之间的相似度进行分析的过程。
3.2 信息检索（Information Retrieval, IR）
信息检索是指将信息按一定的方式加以组织，并通过信息查找满足用户的信息需求的过程和技术。
3.3 信息抽取（Information Extraction）
信息抽取是指从非结构化/半结构化文本（如网页、新闻、 论文文献、微博等）中提取指定类型的信息（如实体、属性、关系、事件、商品记录等），并通过信息归并、冗余消除和冲突消解等手段将非结构化文本转换为结构化信息的一项综合技术。
3.4 文本分类（Text Categorization）
文本分类的任务是根据给定文档的内容或主题，自动分配预先定义的类别标签。
3.5 文本挖掘（Text Mining）
文本挖掘是信息挖掘的一个研究分支，用于基于文本信息的知识发现。文本挖掘的准备工作由文本收集、文本分析和特征修剪三个步骤组成。目前研究和应用最多的几种文本挖掘技术有：文档聚类、文档分类和摘要抽取。
3.6 文本情感分析（Textual Affective Analysis）
情感分析是一种广泛的主观分析，它使用自然语言处理技术来识别客户评论的语义情感，语句表达的情绪正负面以及通过语音分析或书面文字判断其表达的情感等。
3.7 问答系统（Question Answering, QA）
自动问答是指利用计算机自动回答用户所提出的问题以满足用户知识需求的任务。不同于现有搜索引擎，问答系统是信息服务的一种高级形式，系统返回用户的不再是基于关键词匹配排序的文档列表，而是精准的自然语言答案。
3.8 机器翻译（Machine Translation，MT）
机器翻译是指利用计算机实现从一种自然语言到另外一种自然语言的自动翻译。被翻译的语言称为源语言（source language），翻译到的语言称作目标语言（target language）。
机器翻译研究的目标就是建立有效的自动翻译方法、模型和系统，打破语言壁垒，最终实现任意时间、任意地点和任意语言的自动翻译，完成人们无障碍自由交流的梦想。
3.9 自动摘要（Automatic Summarization）
自动文摘（又称自动文档摘要）是指通过自动分析给定的一篇文档或多篇文档，提炼、总结其中的要点信息，最终输出一篇长度较短、可读性良好的摘要（通常包含几句话或数百字），该摘要中的句子可直接出自原文，也可重新撰写所得。
3.10 语音识别（Speech Recognition）
语言识别指的是将不同语言的文本区分出来。其利用语言的统计和语法属性来执行此任务。语言识别也可以被认为是文本分类的特殊情况。
4、自然语言处理基本点
4.1 语料库（Corpus）
语料库中存放的是在语言的实际使用中真实出现过的语言材料；语料库是以电子计算机为载体承载语言知识的基础资源；真实语料需要经过加工（分析和处理），才能成为有用的资源。
4.2 中文分词（Chinese Word egmentation）
（1）中文分词指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。
（2）现有的分词方法可分为三大类：基于字符串匹配的分词方法、基于理解的分词方法和基于统计的分词方法。
（3）比较流行的中文分词工具：jieba、StanfordNLP、HanLP、SnowNLP、THULAC、NLPIR
4.3 词性标注（Part-of-speech tagging）
（1）词性标注是指为给定句子中的每个词赋予正确的词法标记，给定一个切好词的句子，词性标注的目的是为每一个词赋予一个类别，这个类别称为词性标记（part-of-speech tag），比如，名词（noun）、动词（verb）、形容词（adjective）等。
（2）词性标注是一个非常典型的序列标注问题。最初采用的方法是隐马尔科夫生成式模型， 然后是判别式的最大熵模型、支持向量机模型，目前学术界通常采用的结构是感知器模型和条件随机场模型。近年来，随着深度学习技术的发展，研究者们也提出了很多有效的基于深层神经网络的词性标注方法。
4.4 句法分析（Parsing）
（1）基于规则的句法结构分析
（2）基于统计的语法结构分析
4.5 词干提取（Stemming）
词干提取是将词语去除变化或衍生形式，转换为词干或原型形式的过程。词干提取的目标是将相关词语还原为同样的词干。
4.6 词形还原（Lemmatization）
词形还原是将一组词语还原为词源或词典的词目形式的过程。
4.7 停用词过滤
停用词过滤是指在文本中频繁出现且对文本信息的内容或分类类别贡献不大甚至无贡献的词语，如常见的介词、冠词、助词、情态动词、代词以及连词等。
4.8 词向量化（Word Vector）
词向量化是用一组实数构成的向量代表自然语言的叫法。这种技术非常实用，因为电脑无法处理自然语言。词向量化可以捕捉到自然语言和实数间的本质关系。通过词向量化，一个词语或者一段短语可以用一个定维的向量表示。（word2vec）
from gensim.models import Word2Vec
4.9 命名实体消歧（Named Entity Disambiguation）
命名实体消岐是对句子中的提到的实体识别的过程。
例如，对句子“Apple earned a revenue of 200 Billion USD in 2016”，命名实体消岐会推断出句子中的Apple是苹果公司而不是指一种水果。一般来说，命名实体要求有一个实体知识库，能够将句子中提到的实体和知识库联系起来。
4.10 命名实体识别（named entity recognition）
命名实体识别是识别一个句子中有特定意义的实体并将其区分为人名，机构名，日期，地名，时间等类别的任务。
三种主流算法：CRF，字典法和混合方法
5、特征处理
5.1 特征提取（Feature Extraction）
特征提取是指将机器学习算法不能识别的原始数据转化为算法可以识别的特征的过程。
举例（文本分类特征提取步骤）：
（1）对训练数据集的每篇文章，我们进行词语的统计，以形成一个词典向量。词典向量里包含了训练数据里的所有词语（假设停用词已去除），且每个词语代表词典向量中的一个元素。
（2）在经过第一步的处理后，每篇文章都可以用词典向量来表示。这样一来，每篇文章都可以被看作是元素相同且长度相同的向量，不同的文章具有不同的向量值。这也就是表示文本的词袋模型（bag of words）。
（3）针对于特定的文章，如何给表示它的向量的每一个元素赋值呢？最简单直接的办法就是0-1法了。简单来说，对于每一篇文章，我们扫描它的词语集合，如果某一个词语出现在了词典中，那么该词语在词典向量中对应的元素置为1，否则为0。
5.2 特征选择（ Feature Selection）
当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。特征选择是指去掉无关特征，保留相关特征的过程，也可以认为是从所有的特征中选择一个最好的特征子集。特征选择本质上可以认为是降维的过程。
from sklearn.feature_extraction.text import TfidfVectorizer
5.3 降维（Dimension Reduction）
6、模型选择
6.1 马尔可夫模型、隐马尔可夫模型、层次化隐马尔可夫模型、马尔可夫网络
（1）应用：词类标注、语音识别、局部句法剖析、语块分析、命名实体识别、信息抽取等。应用于自然科学、工程技术、生物科技、公用事业、信道编码等多个领域。
（2）马尔可夫链：在随机过程中，每个语言符号的出现概率不相互独立，每个随机试验的当前状态依赖于此前状态，这种链就是马尔可夫链。
（3）多元马尔科夫链：考虑前一个语言符号对后一个语言符号出现概率的影响，这样得出的语言成分的链叫做一重马尔可夫链，也是二元语法。二重马尔可夫链，也是三元语法，三重马尔可夫链，也是四元语法
6.2 条件随机场（CRF）
（1）条件随机场用于序列标注，中文分词、中文人名识别和歧义消解等自然语言处理中，表现出很好的效果。原理是：对给定的观察序列和标注序列，建立条件概率模型。条件随机场可用于不同预测问题，其学习方法通常是极大似然估计。
（2）条件随机场模型也需要解决三个基本问题：特征的选择、参数训练和解码。
6.3 贝叶斯网络
贝叶斯网络又称为信度网络或信念网络（belief networks）,是一种基于概率推理的数学模型，其理论基础是贝叶斯公式。
6.4 最大熵模型
7、NLP常用工具
（1）Anaconda
Anaconda是一个用于科学计算的Python开发平台，支持 Linux，Mac和Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本Python并存、切换以及各种第三方包安装问题。Anaconda利用conda命令来进行package和environment的管理，并且已经包含了Python和相关的配套工具。Anaconda集成了大量的机器学习库以及数据处理必不可少的第三方库，比如NumPy，SciPy，Scikit-Learn以及TensorFlow等。
（2）Scikit-learn
Scikit-learn是广受欢迎的入门级机器学习库，包含大量的机器学习算法和特征提取实现，使用非常简便。Scikit-learn实现的是浅层学习算法，神经网络仅实现了多层感知机。
（3）TensorFlow
TensorFlow是谷歌基于DistBelief进行研发的第二代人工智能学习系统,可被用于语音识别或图像识别等多项机器学习和深度学习领域。
（4）Keras
Keras是一个高级别的Python神经网络框架，能在TensorFlow或者 Theano 上运行。Keras的作者、谷歌AI研究员Francois Chollet宣布了一条激动人心的消息，Keras将会成为第一个被添加到TensorFlow核心中的高级别框架，这将会让Keras变成Tensorflow的默认API。
（5）Gensim
Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。
（6）NLTK
在NLP领域中，NLTK是最常使用的一个Python库。
（7）Jieba
Jieba，结巴分词是最受欢迎的中文分词工具。
8、NLP语言模型
（1）词的独热表示（one-hot representation）
（2）Bag of Words
（3）Bi-gram 和 N-gram
（4）词的分布式表示（distributed representation）
（5）共现矩阵（Cocurrence martrix）
（6）神经网络语言模型（Neural Networ Language model，NNLM）
（7）word2vec
连续词袋模型（Continuous Bag of Words，CBOW）
Skip-Gram模型
9、快速入门NLP方法
（1）认真看完一本NLP相关的书，坚持看完一部视频。
（2）看这两年相关方向的综述论文，然后看一些经典的论文和最新论文。
（3）独立实现一个小型的自然语言处理项目。
（4）可以在Github上找到很多相关的开源代码，选一个自己感兴趣的方向进行研究。
本文转自：AsiaLee技术，转载此文目的在于传递更多信息，版权归原作者所有。
