本章中继续研究分类算法。之前的分类算法需要对所有的训练点对进行求值;而本章将介绍具有稀疏(sparse)解的基于核的算法,对新数据的预测只依赖于训练数据点的一个子集。

本章内容:

  • 支持向量机(support vector machine,SVM)
    • 可以解决分类问题、回归问题、异常点检测问题
    • 模型参数的确定是一个凸的最优化问题
    • 需要用到拉格朗日乘数法
    • 不提供后验概率
  • 相关向量机(relevence vector machine,RVM)
    • 基于贝叶斯方法
    • 提供后验概率输出
    • 产生比SVM更稀疏的解