支持向量机原理与高斯核函数

支持向量机原理

首先先从线性回归下手，下面是线性回归的代价函数，目的是求出最优化参数θ

 将函数经过这样的变化：

 最终得到支持向量机的代价函数：

其中c类似于正则化参数  

而支持向量机的假设模型是这样的：

 支持向量机选择决策边界的原理是：

 其中θ是决策边界在原点的法向量，例如下图：

 其中p^(i)是第i个样本点的向量在θ上的投影：

 由是s.t.的数学表达式：

可知：当p^(i)越大，则所需要的θ范数（||θ||）就可以更小一点，支持向量机选择决策边界的依据就是||θ||越小越好。

例如，下面这幅图中的决策边界就会比前一个决策边界得到的||θ||更小，因为p^(i)更大，支持向量机会选择这样的一个决策边界

 高斯核函数

 高斯核函数可以找到非线性的封闭决策边界，类似于如下这种：

这种决策边界也可以用高阶函数来表示，但是高斯核函数明显具有优势。

高斯核函数原理如下：

k函数的图像如下例：

 即：,其中即为所选样本点到点的距离，如距离过大，则由于k函数的性质，f≈0。

我们定义一个类似于下面这样的式子，通过某种方法得到的值，通过k函数得到所选样本点到每一个定位点f_(i)的值。带入到式子之中，得到该点的预测值y，是0，还是1。

θ的选值和参数的多少是很灵活的，可以很大程度满足所需的非线性封闭区域。