指數(shù)分布族（The Exponential Family)與廣義線性回歸（Generalized Linear Model GLM）

在各種算法相關的paper中，經?？吹街笖?shù)分布族這個概念。博主作為一個好奇心很強喜歡打破砂鍋問到底的人，看到一個東西老在眼前晃來晃去卻又似懂非懂，心里非常難受，于是想好好了解一下這個指數(shù)分布族到底是個什么鬼。。。

1.指數(shù)分布族的概念

指數(shù)分布族是指可以表示為指數(shù)形式的概率分布。wiki上的定義如下：
A single-parameter exponential family is a set of probability distributions whose probability density function (or probability mass function, for the case of a discrete distribution) can be expressed in the form

f_{X} (x ∣ θ) = h (x) \exp (η (θ) \cdot T (x) - A (θ))

其中， $η$ 為自然參數(shù)(nature parameter)， $T (x)$ 是充分統(tǒng)計量（sufficient statistic）。當參數(shù)A，h，T都固定以后，就定義了一個以 $η$ 為參數(shù)的函數(shù)族。

2.其他常見分布于指數(shù)分布族的關系

2.1 伯努利分布

伯努利分布是對0，1分布的問題進行建模。對于 $B e r n o u l i (φ), y \in {0, 1}$ ，其概率密度函數(shù)如下：

{\begin{cases} p (y = 1; φ) = φ \\ p (y = 1; φ) = φ \end{cases}

將其華為指數(shù)分布族的形式：

\begin{aligned} P (y, φ) & = φ^{y} (1 - φ)^{(1 - y)} \\ = e x p (l o g φ^{y} (1 - φ)^{(1 - y)}) \\ = e x p (y l o g φ + (1 - y) l o g (1 - φ)) \\ = e x p (y l o g \frac{φ}{1 - φ} + l o g (1 - φ)) \end{aligned}

將上面轉化以后的表達式與指數(shù)分布族對比，可以看出：

h (y) = 1

T (y) = y

η = l o g \frac{φ}{1 - φ}

φ = \frac{1}{1 + e^{- η}}

A (η) = - l o g (1 - φ)

由此可見，伯努利分布也是指數(shù)分布族的一種。細心的小伙伴發(fā)現(xiàn)了， $θ$ 的形式與logistic函數(shù)的形式一致。（logistic函數(shù)的詳解請參考 http://blog.csdn.net/bitcarmanlee/article/details/51154481）。這是因為 logistic模型對問題的前置概率估計其實就是伯努利分布。（貌似沒有特別理解，以后再來慢慢琢磨）

2.2高斯分布（正態(tài)分布）

關于高斯分布的來龍去脈，足足可以寫厚厚一本書。后面有時間回來詳細整理高斯分布的相關資料。
關于高斯分布的詳細推導過程如下（為了方便起見，將方差 $σ$ 設為1）：

\begin{aligned} N (μ, 1) & = \frac{1}{\sqrt{2 π}} e x p (- \frac{1}{2} (y - μ)^{2}) \\ = \frac{1}{\sqrt{2 π}} e x p (- \frac{1}{2} y^{2} - \frac{1}{2} μ^{2} + μ y) \\ = \frac{1}{\sqrt{2 π}} e x p (- \frac{1}{2} y^{2}) e x p (μ y - \frac{1}{2} μ^{2}) \end{aligned}

將其與指數(shù)分布族對比，可知:

h (y) = \frac{1}{\sqrt{2 π}} e x p (- \frac{1}{2} y^{2})

T (y) = y

η = μ

A (η) = \frac{1}{2} μ^{2}

伯努利分布與高斯分布是兩個典型的指數(shù)分布族

3.廣義線性模型（Generalized Linear Model GLM）

通過上面兩個例子我們可以看出，在伯努利的指數(shù)分布族形式中， $θ$ 與伯努利分布中的參數(shù) $φ$ 是一個logistic函數(shù)。而在高斯分布的指數(shù)分布族形式中， $θ$ 是與 $μ$ 相等的一個表達式（前提是我們假設了 $σ = 1$ ）。通過以上的例子， $θ$ 以不同的映射函數(shù)與其它概率分布函數(shù)中的參數(shù)發(fā)生聯(lián)系，從而得到不同的模型，廣義線性模型正是將指數(shù)分布族中的所有成員（每個成員正好有一個這樣的聯(lián)系）都作為線性模型的擴展，通過各種非線性的連接函數(shù)將線性函數(shù)映射到其他空間，從而大大擴大了線性模型可解決的問題。

下面我們看 GLM 的形式化定義，GLM 有三個假設：

(1) $y | x; θ E x p o n e n t i a l F a m i l y (θ)$ 給定樣本 $x$ 與參數(shù) $θ$ ，樣本分類 $y$ 服從指數(shù)分布族中的某個分布；
(2) 給定一個 $x$ ，我們需要的目標函數(shù)為 $h (θ (x)) = E [T (y) | x]$ ;
(3) $η = θ^{T} x$ 。

根據(jù)伯努利分布推導logistic模型的過程如下：

\begin{aligned} h_{θ} (x) & = E [T (y) | x] \\ = E [y | x] \\ = p (y = 1 | x; θ) \\ = φ \\ = \frac{1}{1 + e^{- η}} \\ = \frac{1}{1 + e^{- θ^{T}} x} \end{aligned}

總之，廣義線性模型通過擬合響應變量的條件均值的一個函數(shù)（不是響應變量的條件均值），并假設響應變量服從指數(shù)分布族中的某個分布（不限于正態(tài)分布），從而極大地擴展了標準線性模型。模型參數(shù)估計的推導依據(jù)是極大似然估計，而非最小二乘法。

本博文主要參考了以下內容，感謝大牛們的無私分享：
http://www.aliog.com/83492.html

本站僅提供存儲服務，所有內容均由用戶發(fā)布，如發(fā)現(xiàn)有害或侵權內容，請點擊舉報。

开心六月综合激情婷婷|欧美精品成人动漫二区|国产中文字幕综合色|亚洲人在线成视频

1.指數(shù)分布族的概念

2.其他常見分布于指數(shù)分布族的關系

2.1 伯努利分布

2.2高斯分布（正態(tài)分布）

3.廣義線性模型（Generalized Linear Model GLM）