Chap 3 贝叶斯推断

频率学派：参数固定，估计分布

贝叶斯：参数在一定空间中随机变化，$x$ 观测到就固定了，观测后分析参数。（存疑）

贝叶斯推断有个重要假设前提：在观测 $x$ 之前，就已经有参数 $\mu$ 的先验知识了。

关键词：条件概率，全概率公式

实例：

先验 $\mu \in [0,10]$ ，则假设 $g(\mu)=\frac{1}{10}$

后验：$g(\mu)=\frac{1}{10}$

贝叶斯的理论是将先验知识 $g(\mu)$ 与实际观测的 $x$ 结合起来分析，于是有 $g(\mu|x)$ ，即 $\mu$ 的后验。

Bayes' Rule

后验可以表示为：$g(\mu|x)=\frac{f_{\mu}(x)g(\mu)}{f(x)}$

其中 $f(x)$ 是 $x$ 的边缘分布：$\int f_{\mu}(x)g(\mu)d \mu$

在贝叶斯公式中，$x$ 在被观测到的时候就固定下来了，而 $\mu$ 在空间 $\Omega$ 上变化。这在如下公式中可以体现：$g(\mu|x)=c_x L_x(\mu)g(\mu)$ ，其中 $L_x$ 是可能性函数， 固定的 $x$ 以常数 $c_x$ 表示。可能性函数乘上任何常数都对整体没有影响。（注意 $x$ 固定）

Estimation & Hypothesis Testing

实例

• 做一遍P7例子，两种方法（PPT有解）

由此例题，计算时不是直接算一个概率，而是两个概率之比，才能得出真实概率。

后验概率是由先验概率经系数修正过后得出的。

贝叶斯推断是基于参数的后验分布的

设
$$
g(\theta|x)=\frac{g(\theta)f_{\theta}(x)}{f(x)}
$$
为参数 $\theta$ 的后验分布，则：

• 其最大后验估计MAP为：$\hat{\theta}{MD}=\arg \max{\theta} g(\theta|x)$ 对应众数
• 其最小均方误差估计为：$\hat{\theta}{E}=\arg \min{a}E[(\theta-a)^{2}|x]=E(\theta|x)$ 对应期望
• 其最小绝对误差估计为：$\hat{\theta}{Me}=\arg \min{a}E[|\theta-a||x]$ 对应中位数
• 其均方误差MSE为：$MSE(\hat{\theta})=E[(\theta-\hat{\theta})^{2}|x]$

对均匀分布，最大后验估计就是极大似然估计。

• P11中 $\hat{\theta}_E$ 如何求出？
• Beta分布？

Confidence Interval

当区间：$[\hat{\theta}_L(x),\hat{\theta}U(x)]$ 满足：
$$
P(\hat{\theta}{L}\leq\theta\leq\hat{\theta}{U}|x)=\int^{\hat{\theta{U}}}{\hat{\theta}{L}} g(\theta|x)d\theta=1-\alpha
$$
则称该区间为参数 $\theta$ 在置信水平 $1-\alpha$ 下的置信区间

等尾置信区间概率：$Px(\theta\leq\hat{\theta}{L})=Px(\hat{\theta}{U}\leq\theta)=\frac{\alpha}{2}$

现实

实际生活中，对于参数 $\theta$ 的先验可能并不可靠，尤其是经验、数据量不足的情况下。

公式3.11应该不做推导要求？

有一个权宜之计，将参数的先验假定为 $\Omega$ 上的均匀分布，也就是 $g(\theta)=\frac{1}{2}$ ，也叫 flat prior。（拉普拉斯 Laplace？）

Jeffreys’ prior

PPT P17

先验： $g^{Jeff}(\theta)=\frac{1}{1-\theta^2}$

后验： $g(\theta|\hat{\theta})$

• 证明Jeff先验的不变性：

$$
g^{Jeff}(\tilde{\theta}) = (h^{-1}(\tilde{\theta}))' g^{Jeff}(h^{-1}(\tilde{\theta})) = \frac{\partial \theta}{\partial \tilde{\theta}} g^{Jeff}(\theta)
$$

其中：
$$
\tilde{\theta} = h(\theta) \
h^{-1}(\tilde{\theta}) = \theta
$$
且(46)中等式右边求导为对 $\tilde{\theta}$ 求。

The triangular-shaped prior

先验： $g(\theta)=1-|\theta|$

后验： $g(\theta|\hat{\theta})$

Hypothesis Testing

$$
H_0：\theta \in \Theta_0 \
H_1：\theta \in \Theta_1 \
\Theta_0 \cap \Theta_1=\empty \
\alpha_0=\alpha_0(x)=P(\theta \in \Theta_0 | x) \
\alpha_1=\alpha_1(x)=P(\theta \in \Theta_1 | x)
$$

如果 $\alpha_0 > \alpha_1$ 则接受 $H_0$，否则拒绝 $H_0$。

Bayes factor：

$$
\pi_i=P(\theta \in \Theta_i) \
i=0,1 \
B(x)=\frac{\alpha_0/\alpha_1}{\pi_0/\pi_1}=\frac{\alpha_0\pi_1}{\alpha_1\pi_0}
$$

$B(x)$ 反映了数据对原假设的支持度

显然，$\alpha_i$ 是先验概率，$\pi_i$ 是后验概率

例见 PPT P19 P20

• 上例P19 & P20存疑