基本分类问题分类
生成 vs 判别
- 生成模型,从数据中学习条件概率
P(X|Y)
及P(Y)
,之后使用贝叶斯公式p(Y|X)~P(Y)P(X|Y)
作为预测函数,即生成模型。典型的方法有高斯判别分析模型,贝叶斯以,隐马尔可夫,高斯混合模型、LDA、Restricted Boltzmann Machine等 - 判别模型,从数据中直接学习判别函数
f(x)
或条件概率P(Y|X)
,作为判别预测函数,即判别模型。典型方法包括kNN,感知机,决策树,线性回归、对数回归、线性判别分析、支持向量机、boosting、条件随机场、神经网络等 - 二者关系:由生成模型可以得到判别模型,但由判别模型得不到生成模型
更多详见这里
优化 vs 非优化
- 非优化模型: 最近邻算法(kNN),贝叶斯(Bayes),决策树(DecisionTree)
- 优化模型:感知机(Perceptron),逻辑回归(LogisticRegression),支持向量机(SVM)