判别模型（discriminative model）和生成模型（generative model）：预测后验概率还是联合概率

• 判别模型：

　　直接对输入空间到输出空间的映射h(x)做预测，或者直接对条件概率分布P(y|x)做预测

　　PM，SVM，NN，KNN，LR，DT

　　模型一般更准确

　　不需要预设条件

　　鲁棒性更高

• 生成模型：

　　先对概率分布P(x,y)做预测，根据贝叶斯公式得到P(y|x)

　　GDA，NB，HMM

　　收敛速度一般更快

　　可以训练包含隐变量的模型

　　需要假设的先验分布

　　可以还原出联合概率分布P(x,y)

　　可以还原出判别模型，但反过来不行

概率模型（probability model）和非概率模型（nonprobability model）：预测概率还是预测映射

• 非概率模型：

　　直接对输入空间到输出空间的映射h(x)做预测

　　PM，SVM，NN，KNN

• 概率模型：

　　对条件概率分布P(y|x)做预测

　　LR，DT，GDA，NB，HMM

参数模型（parametric model）和非参数模型（nonparametric model）：模型由训练数据本身构成还是模型参数构成

• 参数模型：

　　模型中包含若干参数，训练完成则训练数据无用，根据模型参数预测结果

　　LR，PM，GDA，NB，简单NN，HMM

　　需要训练数据较少，训练较快

　　需要假设空间与实际映射空间吻合

　　模型容易理解

　　不适合实际映射隐藏的情况

• 非参数模型：

　　模型由训练数据本身构成

　　SVM，KNN，DT

　　需要训练数据较多，训练较慢

　　不需要假定假设空间，如果训练集无限大可以无限逼近实际映射

　　训练集小时容易过拟合

　　预测性能高

 

 

参考文献：

https://blog.csdn.net/qq_39521554/article/details/79134274

https://blog.csdn.net/pandamax/article/details/78636834

https://www.cnblogs.com/zeze/p/7047630.html