这周统计期中考试，遇到一个没复习到的知识点——指数分布族。不会挂科吧www
密度函数可以写作如下形式的分布，属于指数分布族：
$$
P(x|\vec{\eta}) = h(x)g(\vec{\eta}) e^{\vec{\eta}^T\vec{u}(x)}
$$
其中 $\vec{\eta}$ 是参数向量 $(\eta_1, \eta_2, \eta_3,...,\eta_n)$，$\vec{u}(x)$ 是关于 $x$ 的函数的向量 $(u_1(x),u_2(x),u_3(x),...,u_n(x))$
其均值和方差有如下性质：
$$
E_{P(x|\vec{\eta})}(u_i(x)) = - \frac{\partial{\log{g(\vec{\eta})}}}{\partial{\eta_i}}
$$
$$
Var_{P(x|\vec{\eta})}(u_i(x)) = - \frac{\partial{^2\log{g(\vec{\eta})}}}{\partial{\eta_i^2}}
$$
下面证明期望等式。
显然有：
$$
g(\vec{\eta}) \int_{-\infty}^{+\infty} h(x) e^{\vec{\eta}^T\vec{u}(x)} dx = 1
$$
等式两边对 $\eta_i$ 求导，显然左边求导后得到以等号连接的两部分。第一部分为 $\frac{\partial{g(\vec{\eta})}}{\partial{\etai}} \int{-\infty}^{+\infty} h(x) e^{\vec{\eta}^T\vec{u}(x)} dx$，也可写作 $\frac{\partial{g(\vec{\eta})}}{\partial{\eta_i}} \frac{1}{g(\vec{\eta})}$，而 $\frac{1}{g(\vec{\eta})} = \frac{\partial{\log{g(\vec{\eta})}}}{\partial{g(\vec{\eta})}}$，故第一部分由可写作 $\frac{\partial{\log{g(\vec{\eta})}}}{\partial{g(\eta_i)}}$
第二部分中，积分符号内的指数部分可以展开为 $\eta_1 u_1(x),\eta_2 u_2(x),...,\eta_i u_i(x),...\eta_n un(x)$，故先求导再积分后为 $g(\vec{\eta}) \int{-\infty}^{+\infty} h(x) e^{\vec{\eta}^T\vec{u}(x)} u_i(x) dx$ 。
两部分合并得到
$$
\frac{\partial{\log{g(\vec{\eta})}}}{\partial{g(\etai)}} + g(\vec{\eta}) \int{-\infty}^{+\infty} h(x) e^{\vec{\eta}^T\vec{u}(x)} u_i(x) dx = 0
$$
显然左边第二部分即为期望，故前述等式成立。
而PPT中，使用的是另一个形式：
$$
f_{\alpha}(x) = e^{\vec{\alpha}^T \vec{t}(x) - \Psi(\vec{\alpha})} f_0(x)
$$
其中充分统计量是 $y=\vec{t}(x)$，自然参数是 $\alpha$ 。
期望为 $\dot{\Psi}(\vec{\alpha})$，方差为 $\ddot{\Psi}(\vec{\alpha})$ （对 $\alpha_i$ 求导）
Comments NOTHING