比较:生成式模型 VS 判别式模型

1、生成式模型

常见的生成式模型有:
  •  线性判别式分析 (Linear Discriminant Analysis)
  •  朴素贝叶斯 (Native Bayesian)
  •  K近邻 (KNN)
  •  混合高斯模型 (GaussianMixture Model)
  •  隐马尔科夫模型 (HiddenMarkov Model)
  •  贝叶斯网络 (Bayesian Networks)
  •  马尔科夫随机场 (Markov Random Fields)
  •  深度信念网络 (Deep Belief Networks)

其特点在于(相比于判别式模型):
  •  通常收敛速度较快,少量样本就可以收敛
  •  能应付隐变量
  •  需要对数据分布做出假设(比方朴素贝叶斯假设特征分布符合条件独立的假设)
  •  计算量大
  •  实践效果(比如分类)稍差
  •  容易过拟合
  •  更好利用无标签数据(DBN)
  •  添加新的类别时,计算新的联合分布即可,不需要全部数据重新训练
  •  能检测异常值

2、判别式模型

常见的判别式模型有:
  •  线性回归 (LinearRegression)
  •  逻辑斯蒂回归 (LogisticRegression)
  •  神经网络 (NN)
  •  支持向量机 (SVM)
  •  高斯过程 (GaussianProcess)
  •  条件随机场 (CRF)
  •  CART(Classificationand Regression Tree)

其特点在于(相比于生成式模型):
  •  节省计算资源
  •  节省样本
  •  效果好一些
  •  输入数据可以预处理(降维、构造等),简化学习的问题
  •  解决凸优化问题
  •  添加新的数据时,所有数据要重新训练
  •  不能检测异常值

本文转自网络,转载此文目的在于传递更多信息,版权归原作者所有。

推荐阅读