本系列为《模式识别与机器学习》的读书笔记

分类的?标是将输?变量 $$Ck? 中的某?类。 最常见的情况是 类别互相不相交， 因此每个输?被分到唯?的?个类别中因此输?空间被划分为不同的决策区域（decision

分类线性模型是指决策?是输?向量函数 $$x 的线性函数，因此被定义为 $$线性可分的（linearly separable）

在线性回归模型中，使??线性函数 $$w 的线性函数进?变换即

$\begin{array}{cc}{}^{}{0}_{}& \end{array}$

如图4.1，?维线性判别函数嘚?何表?决策?（红?）垂直于 $$w ，它距离原点的偏移量由偏置参数 $0_{}$

线性判别函数的朂简单的形式是输?向量函数的线性函数，即

$\begin{array}{cc}{}^{}{0}_{}& \end{array}$偏置（bias）偏置的相反数有时被称为阈值（threshold）。

xB? 两个点都位于决策?上。 由于 ${}_{}{}_{}0$${}^{}{}_{}{}_{}0$$$w 与決策?内的任何向量函数都正交从? $$w 确定了决策?的?向。类似地如果 $$x 是决策?内的?个点，那么 $0$y(x)=0 因此从原点到决策?的垂直距离為

$\begin{array}{cc}\frac{{}^{}}{}\frac{0_{}}{}& \end{array}$w0? 确定了决策?的位置。

x 到决策?的垂直距离 $$r 在决策?上的投影 ${}_{}$

$\begin{array}{cc}{}_{}\frac{}{}& \end{array}$

$\begin{array}{cc}\frac{}{}& \end{array}$$0_{}$x0?=1 并且定义 $\stackrel{}{}{0}_{}$$\stackrel{}{}{0}_{}$

$\begin{array}{cc}{\stackrel{}{}}^{}\stackrel{}{}& \end{array}$D 维超平?， 并且这个超平?会穿过 $$D+1 维扩展输?空间的原点

考虑把线性判别函数推?到 $$

K?1 个分类器，每个分类器?来解决?个?分类问题把属于类别 ${}_{}$1对其他”（one-versus-the-rest）分类器此方法的缺点在于产?了输?空间中?法分类的区域。

2K(K?1)? 个?元判别函数 对每?對类别都设置?个判别函数。 这被称为“1对1”（one-versus-one）分类器每个点的类别根据这些判别函数中的?多数输出类别确定，但是这也会造成輸?空间中的?法分类的区域。

如图4.2尝试从?组两类的判别准则中构建出?个 $$K 类的判别准则会导致具有奇异性的区域， ?绿?表?

$\begin{array}{cc}{}_{}{}_{}^{}{0}_{}& \end{array}$${}_{}{}_{}$Cj? の间的决策?为 ${}_{}{}_{}$$$(D?1) 维超平?，形式为

$\begin{array}{cc}{}_{}{}_{}{}^{}{0}_{}{0}_{}0& \end{array}$xB? 两个点都位于决策区域 ${}_{}$Rk? 中， 任何位于连接 ${}_{}$xB? 的线段上的点都可以表?成下?的形式

$\begin{array}{cc}\stackrel{}{}{}_{}{}_{}& \end{array}$0≤λ≤1 根據判别函数的线性性质，有

$\begin{array}{cc}{}_{}\stackrel{}{}{}_{}{}_{}{}_{}{}_{}& \end{array}$Rk? 内部因此对于所有 $$${}_{}{}_{}{}_{}{}_{}$Rk? 是单连通的并且是凸的。

如图4.3多类判别函数的决策区域的说明， 决策边界?红?表?

3，?于分类的最?平??法

Ck? 由??的线性模型描述即公式(4.7)，其中 $$

$\begin{array}{cc}{\stackrel{}{}}^{}\stackrel{}{}& \end{array}$x~ 是对应的增?输?向量函数 ${}^{}{}^{}$

现在通過最?化平?和误差函数来确定参数矩阵 $\stackrel{}{}$W~ 考虑?个训练数据集 ${}_{}{}_{}$tnT? ，定义?个矩阵 $\stackrel{}{}$x~nT? 这样，平?和误差函数可以写成

$\begin{array}{cc}{}_{}\stackrel{}{}\frac{}{}\stackrel{}{}\stackrel{}{}{}^{}\stackrel{}{}\stackrel{}{}& \end{array}$W~ 的导数等于零整悝，可以得到 $\stackrel{}{}$

$\begin{array}{cc}\stackrel{}{}{\stackrel{}{}}^{}\stackrel{}{}{}^{}{\stackrel{}{}}^{}{\stackrel{}{}}^{}& \end{array}$${\stackrel{}{}}^{}$X~ 的伪逆矩阵即得判别函数，形式为

$\begin{array}{cc}{\stackrel{}{}}^{}\stackrel{}{}{}^{}{\stackrel{}{}}^{}{}^{}\stackrel{}{}& \end{array}$logistic回归模型给出的决策边界（绿?曲线）；右图给出了当额外的数据点被添加到左图嘚底部之后得到的结果，这表明最?平??法对于异常点很敏感这与logistic回归不同。