第一章 概率论的基本概念
第二章 随机变量及其分布
第三章 多维随机变量及其分布
第四章 随机变量的数字特征
第五章 大数定理及中心极限定理
第六章 样本及抽样分布
第七章 参数估计
第八章 假设检验

第五章 大数定理及中心极限定理

5.1 大数定理

弱大数定理（辛钦大数定理）

\lim _{n\rightarrow\infty}P\bigg\{\bigg|\frac 1n\sum\limits^{n}_{k=1}X_k-\mu\bigg|<\epsilon\bigg\}=1

• 解释：当n充分大时，不等式|\overline X-\mu|<\epsilon成立的概率很大。
• 说明：当n很大时，随机变量X_1,X_2,...,X_n的算数平均\frac 1n\sum\limits^{n}_{k=1}X_k接近于数学期望。

辛钦大数定理的另一种表述形式：

设随机变量X_1,X_2,...,X_n,...相互独立，服从同一分布且具有数学期望E(X_k)=\mu(k=1,2,...)，则序列\overline X=\frac 1n\sum\limits^n_{k=1}X_k依概率收敛于\mu，即：

X_n\xrightarrow{P}\mu

• 依概率收敛序列的性质：设X_n\xrightarrow{P}a，Y_n\xrightarrow{P}b，又设函数g(x,y)在点(a,b)连续，则：

  g(X_n,Y_n)\xrightarrow{P}g(a,b)

伯努利大数定理

设f_a是n次重复独立试验中事件A发生的次数。p是事件A在每次试验中发生的概率。则对于任意正数\epsilon>0，有：

\lim_{n\rightarrow\infty}P\bigg\{\bigg|\frac {f_a} n-p\bigg|<\epsilon\bigg\}=1

或：

\lim_{n\rightarrow\infty}P\bigg\{\bigg|\frac {f_a} n-p\bigg|\ge\epsilon\bigg\}=0

• 说明：

  伯努利定理表明事件发生的频率\frac {f_a}n依概率收敛于事件的概率p。因而当n很大的时候，事件发生的频率与概率有较大偏差的可能性很小。在实际应用中，当试验次数很大时，便可以用事件发生的频率来代替事件发生的概率。

5.2 中心极限定理

定理一

设随机变量X_1,X_2,...,X_n,...相互独立，服从同一分布且具有数学期望和方差：E(X_k)=\mu，D(X_k)=\sigma^2>0(k=1,2,...)，则随机变量之和的标准化变量：

Y_n=\frac{\sum\limits_{k=1}^{n}X_k-E\left(\sum\limits_{k=1}^{n}X_k\right)}{\sqrt{\left(\sum\limits_{k=1}^{n}X_k\right)}}=\frac{\sum\limits_{k=1}^{n}X_k-n\mu}{\sqrt{n}\sigma}

标准化变量的分布函数F_n(x)对于任意x满足：

\begin{aligned} \underset{n\to\infty}{\text{lim}}F_n(x)& =\lim\limits_{n\to\infty}P\left\{\frac{\sum\limits_{k=1}^n X_k-n\mu}{\sqrt{n}\sigma}\leq x\right\} \\ &=\int_{-\infty}^x\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{t^2}{2}}\mathrm{d}t=\Phi(x). \end{aligned}

定理一表明：当n充分大时，n个具有期望和方差的独立同分布随机变量之和近似服从正态分布。

定理二（李雅普诺夫定理）（了解即可）

设随机变量X_1,X_2,...,X_n,...相互独立，服从同一分布且具有数学期望和方差：E(X_k)=\mu，D(X_k)=\sigma^2>0(k=1,2,...)。记B^2_n=\sum\limits^{n}_{k=1}\sigma^2_k。若存在正数\delta，使得当n\rightarrow\infty时：

\frac 1{B_n^{2+\delta}}\sum\limits^{n}_{k=1}E\{|X_k-\mu_k|^{2+\delta}\}\rightarrow0

则随机变量之和的标准化变量：

Z_n=\frac{\sum\limits_{k=1}^{n}X_k-E\left(\sum\limits_{k=1}^{n}X_k\right)}{\sqrt{D\left(\sum\limits_{k=1}^{n}X_k\right)}}=\frac{\sum\limits_{k=1}^{n}X_k-\sum\limits_{k=1}^{n}\mu_k}{B_n}

其分布函数F_n(x)对于任意x满足：

\begin{aligned} \underset{n\to\infty}{\text{lim}}F_n(x)& =\lim\limits_{n\to\infty}P\bigg\{\frac{\sum\limits_{k=1}^n X_k-\sum\limits_{k=1}^n \mu_k}{B_n} \leq x \bigg\} \\ &=\int_{-\infty}^x\dfrac{1}{\sqrt{2\pi}}e^{-\dfrac{t^2}{2}}\mathrm{d}t=\Phi(x). \end{aligned}

定理二表明：无论各个随机变量X_1,X_2,...,X_n,...服从什么分布，只要满足定理的条件，那么它们的和\sum\limits^n_{k=1}X_k在当n很大时，近似的服从正态分布。

定理三（棣莫佛——拉普拉斯定理）

设随机变量

\eta_n(n=1,2,...)服从参数为n,p(0<p<1)的二项分布，则对于任意x，恒有：

\lim\limits_{n\to\infty}P\left\{\frac{\eta_n-np}{\sqrt{np(1-p)}}\leq x\right\}=\int_{-\infty}^x\frac{1}{\sqrt{2\pi}}\mathrm{e}^{-\frac{t^2}{2}}\mathrm{d}t=\Phi(x).

定理三表明：

正态分布是二项分布的极限分布,当n充分大时可以利用该定理来计算二项分布的概率。

习题

• 答案

  

---

• 答案

  

---

• 答案

  

---

设总体X服从参数为\frac 12的指数分布，X_1,X_2,...,X_n为来自总体的简单随机样本，则当n\rightarrow\infty时，Y_n=\frac1n\sum\limits^n_{i=1}X_i^2依概率收敛于（）。

• 答案

  E(Y_n)=\frac 12，根据辛钦大数定理，Y_n依概率收敛到E(Y_n)=\frac 12。