决策边界

决策边界决策面(decision surface)是统计分类问题中的一个超曲面,把向量空间(作为特征空间)划分为两个集合,分别对应两个分类。[1]

如果决策面是超平面,那么这个分类问题是线性的,分类是线性可分英语linearly separable的。

神经网络与支持向量机编辑

人工神经网络感知器反向传播算法,网络可学到的决策边界的类型由隐含层数决定。

如果没有隐含层,那么只能学习线性问题。如有一个隐含层,使用万能逼近定理英语Universal approximation theorem可学到Rn紧子集的任何连续函数,因此可学到任意的分类边界。

支持向量机 能找到一个超平面,把特征空间分为具有最大间隔英语maximum-margin hyperplane的2个类。如果问题在最初不是线性可分的,通过核方法英语kernel trick把它映射到高维空间变为线性可分。

神经网络通过分类边界学习来极小化经验误差(empirical error)。支持向量机 通过分类边界学习来极大化经验间隔(maximizes the empirical margin)。

参考文献编辑

  1. ^ 存档副本 (PDF). [2019-04-01]. (原始内容 (PDF)存档于2016-03-28).