广义线性模型 | Matafight's world

什么是广义线性模型

假设现在有一个预测任务，其输入是 $x_i(1\le i \le n)$ ,对应的label 是 $y_i$ ，我们知道可以用线性模型建模为:

$y = \omega^Tx+b$

广义线性模型一个最简单的解释是，存在一个单调可微的连接函数 $g(\cdot)$ 满足:

$g(y) = \omega^Tx+b$

那么模型: $y = g^{-1}(\omega^Tx+b)$ 就是广义线性模型。

上面说到了广义线性模型需要确定一个连接函数，那么连接函数怎么确定呢?当然单调可微的函数都符合条件，但是狭义上的广义线性模型是与指数分布族这个概念联系在一起的。假设样本标号 $y$ 的分布属于指数分布族，那么就存在一个相对应的连接函数使得 $(x,y)$ 可以用广义线性模型建模。

指数分布族的形式如下：

$p(y,\eta)=b(y)exp(\eta^TT(y)-a(\eta))$
其中

$\eta = \omega^Tx$ (将b也嵌入到

$\omega$ 中)。

很多分布都属于指数分布族，如高斯分布，二项分布，泊松分布等。这里以高斯分布和二项分布为例推导广义线性模型。

假设 $y=\omega^Tx+\epsilon$ ，其中 $\epsilon \sim N(0,\sigma^2)$ ,则有y服从正态分布 $y\sim N(\omega^Tx,\sigma^2)$ ,将这个正态分布展开:

$p(y;\eta) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{(y-\eta)^2}{2\sigma^2})$
将其展开成指数分布族的形式:

$p(y;\eta) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{y^2}{2\sigma^2})exp(\frac{y\omega^Tx}{\sigma^2}-\frac{(\omega^Tx)^2}{2\sigma^2})$

所以对应着指数分布族有:

$b(y) = \frac{1}{\sqrt{2\pi}\sigma}exp(-\frac{y^2}{2\sigma^2})$

$T(y) = \frac{y}{\sigma^2}$

$\eta= \omega^Tx$

$a(\eta) = \frac{(\omega^Tx)^2}{2\sigma^2}$
由第三行公式

$\eta= \omega^Tx$ 可知线性模型的连接函数就是恒等函数

假设 $y\in{-1,1}$ ,也就是说这是一个二分类任务，则样本label服从二项分布:

$p(y)=\pi^y(1-\pi)^{(1-y)}$
其中

$\pi$ 表示样本为正例的概率，将其变换成指数分布族的形式:

$p(y) = exp(ylog(\pi)+(1-y)log(1-\pi))$

$=exp(ylog(\frac{y}{1-y})+log(1-\pi))$
则有:

$b(y) = 1$

$T(y) = y$

$\eta=log(\frac{\pi}{1-\pi})$

$a(\eta) = log(1-\pi)$

由 $\eta=log(\frac{\pi}{1-\pi})$ 可推出sigmoid函数:

$\pi = \frac{e^{\eta}}{1+e^{\eta}}$

因此对于二项分布来说，其连接函数是sigmoid函数。由此可推出Logistic Regression，也能看出LR的输出范围是0-1，可以看作是样本为正例的概率。