大数定律与中心极限定理

2024/11/09

Note

对于一系列随机变量 $X_1,X_2,\cdots ,X_n$，设每个随机变量都有期望。由于随机变量之和很有可能发散到无穷大，我们转而考虑随机变量的均值 $\overline{X_n}=\frac{1}{n}\sum _{i=1}^n{X}_i$ 和其期望 $E(\overline{X_n})$ 之间的距离。若 $\{X_n\}$ 满足一定条件，当n足够大时，这个距离会以非常大的概率接近0，这就是大数定律的主要思想。 而中心极限定理进一步研究 $\overline{X_n}$ 服从什么分布。若 $\{X_n\}$ 满足一定的条件，当 $n$ 足够大时，$\overline{X_n}$ 近似服从正态分布！

重要不等式

马尔可夫(Markov)不等式

设非负随机变量 $X$ 的期望 $E(X)$ 存在，则对 $\mathrm{\forall }\epsilon >0$，$P(x⩾\epsilon )⩽\frac{E(X)}{\epsilon }$

理解: 如果我们知道所有人的平均收入为 $a$，那么随机抽一个人，收入超过 $10a$ 的概率不超过 $10\mathrm{\%}$

切比雪夫(Chebyshev)不等式

设 $X$ 的方差 $D(X)$ 存在，则对 $\mathrm{\forall }\epsilon >0$，$P(|x-E(X)|⩾\epsilon )⩽\frac{D(X)}{{\epsilon }^2}$

大数定律

切比雪夫大数定律

$X_1,X_2,\cdots ,X_n,\cdots$ 是相互独立的随机变量序列，每个 $X_k$ 都有有限方差，且有公共上界，则有

$$\begin{gathered} \underset{n\to \mathrm{\infty }}{lim}D(\frac{1}{n}\sum _{k=1}^n{X}_k)=0 \\ \underset{n\to \mathrm{\infty }}{lim}P(|\frac{1}{n}\sum _{k=1}^n{X}_k-\frac{1}{n}\sum _{k=1}^{n}E(X_k)|⩾\epsilon )=0 \end{gathered}$$

证明:

设 $D(X_k)⩽c$，则 $D(\frac{1}{n}\sum _{k=1}^n{X}_k)=\frac{1}{n^2}\sum _{k=1}^{n}D(X_k)⩽\frac{1}{n^2}\cdot nc$

由切比雪夫不等式: $P(|\sum _{k=1}^n\frac{1}{n}{X}_k-E(\sum _{k=1}^n\frac{1}{n}{X}_k)|⩾\epsilon )⩽\frac{D(\frac{1}{n}\sum _{k=1}^n{X}_k)}{{\epsilon }^2}$

辛钦大数定律

理解: 具有相同分布的独立随机变量 $X_1,\cdots X_n$，当 $n$ 很大时，它们的算数平均值很接近于 $\mu$

伯努利大数定律

理解: 当 $n$ 很大时，事件的频率 $\frac{f_A}{n}$ 与概率 $p$ 的偏差很小。所以，当试验次数很大时，便可以用事件的频率来代替事件的概率

中心极限定理

林德贝格-勒维/独立同分布中心极限定理

由此，$\sum _{k=1}^n{X}_k\sim N(n\mu ,n{\sigma }^2)$ (均值亦服从正态分布)

应用: 设 $X_1,\cdots ,X_n$ 独立且同为二项分布，$P(X_i=1)=p$，则 $Y_n=\sum _{i=1}^n{X}_i\sim B(n,p)$ 可以近似认为 $Y_n\sim N(np,np(1-p))$

棣莫弗-拉普拉斯/二项分布中心极限定理

---

参考资料:

知乎｜概率论——大数定律与中心极限定理