Chap 2 频率推断

Plug-in principle

将总体分布换成经验分布（no hat->hat），即为Plug-in。例如 $S_{n}^{2}$ 代替 $\sigma ^ {2}$

由：
$$
D(x)=E(x^{2})-E^{2}(x)
$$
不难得到：
$$
\sigma^{2} = \int x^{2} dF(x) - [\int xdF(x)]^{2}
$$
另外：
$$
\mu = \int xdF(x)
$$
而两者的 plug-in estimate 分别为：
$$
\hat{\sigma}^{2} = \int x^{2} dF{n}(x) - [\int xdF{n}(x)]^{2} = \frac{1}{n} \sum{i=1}^{n}(x{i}-\overline{x})^2
$$

$$
\hat{\mu} = \int xdF{n}(x)=\frac{1}{n} \sum{i=1}^{n}x_{i}
$$

原模型分布产生的数据的分布去估算模型本身真正的分布。

然后将我们预估出来的参数插入到原分布以帮助我们做出最优预测。

渐进推断

依分布收敛，实例：中心极限定理。
$$
\lim{n \to \infin} F{n}(x) = F(x)
$$
依概率收敛，实例：大数定律
$$
\lim{n \to \infin} Pr(|X{n}-X| \textgreater \epsilon)=0
$$
几乎处处收敛，实例：强大数定律
$$
Pr(\lim{n \to \infin}X{n}=X)=1
$$
$Pr$ 意为 $probability$

依概率收敛可以推导出依分布收敛

应用实例

设定：
$$
F{n}(x) = \frac{1}{n} \sum{i=1}^{n}1{X{i} \leq x}
$$

$$
E[F{n}(x)]=P(X{i} \leq x) = F(x)
$$

$$
Var[F_{n}(x)]=\frac{1}{n}F(x)[1-F(x)]
$$

则：

依据大数定律：
$$
F_{n}(x) \xRightarrow{a.s} F(x)
$$
另：根据中心极限定理，略……

Delta Method

• 待补充

if

then

• [x] P30证明

• Taylor series，展开 $g(X_n)$

• continues mapping

• Slutsky's theorem

• [ ] 多维变量的证明还需了解多维求导？

Two sample mean test

• [x] 独立正态：传统 $t$ 检验，参见[这里](#Two-sample mean test)

• [x] 独立：渐进方法，见PPT P34

• 相关：渐近方法，见PPT P35&36

  高维的中心极限定理

Frequentist Inference

Winsorized mean：将极端值替换为不太极端的值。如将 $x_1$ 和 $x_2$ 都换成 $x_3$ 。robust，但是bias

检验效率power为 $1-\beta$