机器学习——linear model for classification
到目前为止，已经学习了3个线性模型了，他们都使用到了\(score = W^TX\)(后文中简写为\(s\))，使用特征间线性组合来打分，通过分数来做后续的处理。
linear regression用于分类前面有一篇博客已经说明，现在我们想要知道，logistic regression 是否也可以用于分类？毕竟线性回归的错误对于二元分类来说是一个很大的上界，这意味着它的效果虽然不差，但可能错失更好的。而PLA找到一个最小的\(E_{in}\)是NP-hard问题，只能使用改进的POCKET算法。我们希望看到logistic regression用于二元分类可以有更好的表现。
与之前的步骤一样，逻辑回归中，\(E_{in} = \sum_{n = 1}^{N} \ln{1 + e^{-y_nW^TX_n} }\)，我们对比的是单个样本的错误，就写作\(err_{name}\)好了。
为了让这3种模型都有较为清晰的对比，我们对PLA以及线性回归的错误衡量也做处理，如下：
| method | linear classification | linear regression | logistic regression |
|---|---|---|---|
| err | \([sign(ys \neq 1)]\) | \((sy-1)^2\) | \(\ln{1+e^{-ys} }\) |
将它们的曲线绘制到一张图上，可以得到下面的结果： 
其中蓝色是linear classification的错误，红色是linear
regression的错误，绿色是logistic
regression。坏了，绿色的线并不总是大于蓝色的线，这意味着我们无法像之前一样，简单地将\(E_{in}(linear classification)\)换成\(E_{in}(logistic regression)\)。
实际上，之前我们选择用\(ln\)函数是因为这是最常见的，只是将乘法换成加法，理论上我们可以取任何对数，如，将对数函数换为\(log_2^x\),就可以得到另外一副曲线图： 
这样就可以满足我们的需要，也方便下面的证明。 我们称使用\(ln(x)\)函数的错误为\(err_{ce}\)，使用\(log_2(x)\)的为\(err_{sce}\)，则由上图可以知道：
\(err_{0/1}(s,y) \leq err_{sce}(s,y) = \frac 1 {\ln2} err_{ce}(s,y)\)， （由换底公式：$ = log_2x ） 也就可以知道： \[ E_{in}^{0/1} \leq E_{in}^{sce} = \frac 1 {\ln2} E_{in}^{ce} \]
同样的道理： \[ E_{out}^{0/1} \leq E_{out}^{sce} = \frac 1 {\ln2} E_{out}^{ce} \]
因此，我们可以像之前一样推导：
\[ E_{out}^{0/1} \leq E_{in}^{0/1}+ \Omega ^{0/1} \leq \frac 1 {\ln2} E_{in}^{ce}+\Omega ^{0/1} \]
同样，从另一个方向也可以推导：
\[ E_{out}^{0/1} \leq \frac 1 {\ln{2} } E_{out}^{ce} \leq \frac 1 {\ln2} E_{in}^{ce}+\Omega ^{ce} \]
无论哪个，都可以证明，logistic regression是可以用于二元分类的。而上面的图像也说明了，他的效果比线性回归更好，bound更紧一点。
在实际应用中，我们使用linear regression来初始化\(W\)，然后通过POCKET或者logistic regression来进行后面的步骤，而且logistic regression更为常用。
注：上面推导中，判断都是以s=0为界定，对应到logistic regression也就是概率为0.5为界定。