第六章 大数定律和中心极限定理

6.1 大数定律

6.1.1 马尔可夫不等式

设随机变量 \(X\) 存在 \(E|X|^k\)，\(k>0\)，则对任意 \(\varepsilon>0\)，成立：

\[P\{|X|\geq \varepsilon\}\leq \dfrac{E|X|^k}{\varepsilon^k}\quad k>0\\ P\{|X-EX|\geq \varepsilon\}\leq \dfrac{E|X-EX|^k}{\varepsilon^k}\quad k>0 \]

6.1.2 切比雪夫不等式

设随机变量 \(X\) 存在 \(EX\) 和 \(DX\)，则对任意 \(\varepsilon>0\)，成立：

\[P\{|X-EX|\geq \varepsilon\}\leq \dfrac{DX}{\varepsilon^2}\\ P\{|X-EX|< \varepsilon\}\geq1- \dfrac{DX}{\varepsilon^2} \]

固定 \(\varepsilon\) 时，\(DX\) 越小，\(P\{|X-EX|\geq \varepsilon\}\) 越小

• 理论上证实：方差度量随机变量取值偏离均值的偏移程度。
• 方差估计“尾概率”

定义

依次列出可数无穷多个随机变量\(X_1,X_2,...,X_n,...\)

简记为 \(\{X_n\}\)，称为随机（变量）序列。

定义

对于随机（变量）序列 \(\{X_n\}\) 和随机变量 \(X\)（或常数 \(a\)），若对任意 \(\varepsilon>0\)，有

\[\lim\limits_{n\rightarrow\infty}P\{|X_n-X|<\varepsilon\}=1\quad或\quad \lim\limits_{n\rightarrow\infty}P\{|X_n-X|\geq\varepsilon\}=0\\ \lim\limits_{n\to\infty}P\{|X_n-a|<\varepsilon\}=1\quad或\quad \lim\limits_{n\rightarrow\infty}P\{|X_n-a|\geq\varepsilon\}=0 \]

则称随机（变量）序列 \(\{X_n\}\) 依概率收敛于 \(X\) （或常数 \(a\)），简记为：

\[X_n\stackrel{P}{\longrightarrow}X,(n\to\infty)\\ X_n\stackrel{P}{\longrightarrow}a,(n\to\infty) \]

6.1.3 切比雪夫弱大数定律

设 \(X_1,X_2,...,X_n,...\) 是相互独立的随机变量，每一个 \(X_i\) 都存在 \(EX_i\) 和有限的 \(DX_i\)，且方差有公共上界，即：

\[D(X_i)\leq C,\quad i=1,2,...,n,... \]

则对任意 \(\varepsilon>0\)，成立：

\[\lim\limits_{n\to\infty}\Big\{\Big|\dfrac{1}{n}\sum\limits^n_{i=1}X_i-\dfrac{1}{n}\sum\limits^n_{i=1}EX_i\Big|<\varepsilon\Big\}=1 \]

推论

若随机变量序列独立，且有相同的数学期望和方差

\[EX_i=\mu,\quad DX_i=\sigma^2,\quad(i=1,2,...) \]

则对任意 \(\varepsilon>0\)，有 \(\lim\limits_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=1\)

其中 \(\overline{X}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i\)

6.1.4 辛钦弱大数定律

若随机变量序列独立同分布，存在相同的数学期望 \(EX_i=\mu,\quad (i=1,2,...)\)

则对任意 \(\varepsilon>0\)，有 \(\lim\limits_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=1\)

其中\(\overline{X}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i\)

6.1.5 贝努里弱大数定律

设 \(n_A\) 是 \(n\) 次独立重复试验中事件 \(A\) 发生的次数， \(p\) 是在每次试验中事件 \(A\) 发生的概率，则对任意 \(\varepsilon>0\)，有：

\[\lim\limits_{n\to\infty}P\{|\dfrac{n_A}{n}-p|<\varepsilon\}=1 \]

表明

事件 \(A\) 发生的频率 \(\dfrac{n_A}{n}\) 依概率收敛于事件 \(A\) 发生的概率。是频率作为概率的估计值的理论依据。

6.2 中心极限定理

6.2.1 独立同分布的中心极限定理

设随机变量 \(X_1,X_2,...,X_n,...\) 独立同分布，且存在有限的数学期望和方差 \(EX_i=\mu,DX_i=\sigma^2\ne 0,(i=1,2,...)\)

\[Y_n=\sum\limits_{i=1}^nX_i \]

\(Y_n^*\) 为 \(Y_n\) 的标准化随机变量，\(Y^*_n=\dfrac{Y_n-EY_n}{\sqrt{DY_n}}=\dfrac{\sum\limits_{i=1}^nX_i-nEX_i}{\sqrt{nDX_i}}\)，则

\[\lim\limits_{n\to\infty}F_{Y_n^*}(x)=\lim\limits_{n\to\infty}P\{Y_n^*\leq x\}=\Phi(x) \]

当 \(n\) 充分大时，\(Y_n^*\) 近似服从 \(N(0,1)\)，\(Y_n=\sum\limits_{i=1}^nX_i\) 近似服从 \(N(n\mu,n\sigma^2)\)

6.2.2 De Moivre-Laplace 定理

设 \(\mu_n\) 是 \(n\) 次独立重复试验中事件 \(A\) 发生的次数，\(p\) 是在每次试验中事件 \(A\) 发生的概率，则对任意区间 \([a,b]\)，成立：

\[\lim\limits_{n\to\infty}P\{a<\dfrac{\mu_n-np}{\sqrt{ np(1-p)}}\leq b\}=\int_a^b\dfrac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\,dt=\Phi(b)-\Phi(a) \]