第五章 随机变量的数字特征

5.1 数学期望

5.1.1 离散型随机变量 \(X\) 的数学期望

定义

设 \(X\) 的分布律为：\(P\{X=x_k\}=p_k,\quad k = 1, 2, ...\)

若级数 \(\sum\limits_{k=1}^{\infty}x_kp_k\) 绝对收敛（即\(\sum\limits_{k=1}^{\infty}|x_k|p_k\) 收敛）

则称级数 \(\sum\limits_{k=1}^\infty x_kp_k\) 为 \(X\) 的数学期望，记为

\[E(X)=EX=\sum\limits_{k=1}^{\infty}x_kp_k \]

5.1.2 离散型随机变量 \(X\) 的函数的数学期望

定理

设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 是离散型随机变量，\(P\{X=x_k\}=p_k,\quad k=1,2,...\)

若级数 \(\sum\limits_{k=1}^\infty g(x_k)p_k\) 绝对收敛，则有

\[EY=Eg(X)=\sum\limits_{k=1}^{\infty}g(x_k)p_k \]

5.1.3 连续型随机变量 \(X\) 的数学期望

定义

设 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\,dx\) 绝对收敛（即\(\int^{+\infty}_{-\infty}|x|f(x)\,dx\) 收敛）,则称积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\,dx\) 为 \(X\) 的数学期望，记为

\[EX=\int_{-\infty}^{+\infty}x\cdot f(x)\,dx \]

5.1.4 连续型随机变量 \(X\) 的函数的数学期望

定理

设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int^{+\infty}_{-\infty}g(x)\cdot f(x)\,dx\) 绝对收敛，则随机变量 \(Y=g(X)\) 的数学期望

\[EY=Eg(X)=\int^{+\infty}_{-\infty}g(x)\cdot f(x)\,dx \]

5.1.5 随机向量的函数的数学期望

设 \((X,Y)\) 为随机向量，\(g(x,y)\) 为连续函数，那么 \(Z=g(X,Y)\) 是一个随机变量。

• 若 \((X,Y)\) 为离散型随机变量，其分布律为

\[P\{X=x_i,Y=y_j\}=p_{ij},\quad i,j=1,2,... \]

则有

\[E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij} \]

其中 \(E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}\) 绝对收敛。

• 若 \((X,Y)\) 为连续型，其概率密度为 \(f(x,y)\)，则有

\[E(Z)=Eg(X,Y)=\int^{+\infty}_{-\infty}\int^{+\infty}_{-\infty}g(x,y)\cdot f(x,y) \,dxdy \]

其中上式绝对收敛。

5.1.6 数学期望的性质

1. 设 \(C\) 为常数，则有 \(E(C)=C\)

2. 设 \(C\) 为常数，\(X\) 为随机变量，则有 \(E(CX)=C\cdot EX\)

3. 设 \(X,Y\) 为任意随机变量，则 \(E(X+Y)=EX+EY\)

4. 设 \(X,Y\) 为相互独立的随机变量，则有 \(E(XY)=EX\cdot EY\)

5.2 方差

5.2.1 定义

若 \(E[X-E(X)]^2\) 存在，则称其为随机变量 \(X\) 的方差，记为 \(D(X)\) 或 \(Var(x)\)，即：

\[D(X)=E[X-E(X)]^2\geq 0 \]

称 \(\sqrt{D(X)}\) 为 \(X\) 的均方差或标准差

5.2.2 方差的计算公式

方差 \(DX=E(X-EX)^2\) ，是 \(X\) 的函数 \((X-EX)^2\) 的数学期望。

1. 若 \(X\) 是离散型随机变量，分布律为：

\[P\{X=x_i\}=p_i,\quad i=1,2,... \]

则：

\[DX=E(X-EX)^2=\sum\limits^\infty_{i=1}(x_i-EX)^2p_i\geq 0 \]

2. 若 \(X\) 是连续型随机变量，概率密度为 \(f(x)\)，则

\[DX=E(X-EX)^2=\int^{+\infty}_{-\infty}(x-EX)^2f(x)\,dx>0 \]

3. 简便计算公式

\[DX=EX^2-(EX)^2\\ EX^2=DX+(EX)^2 \]

5.2.3 方差的性质

1. 设 \(C\) 为常数，则有 \(D(C)=0\)
2. 设 \(k\) 为常数，\(X\) 为随机变量，则有：

\[D(kX)=k^2DX \]

3. 设 \(X,Y\) 为相互独立的随机变量，则有

\[D(X+Y)=DX+DY \]

设 \(X_1,X_2,...,X_n\) 为相互独立的随机变量，则有

\[D(\sum\limits_{i=1}^nk_iX_i)=\sum\limits_{i=1}^nk_i^2DX_i \]

4. \(DX=0\iff P\{X=EX\}=1\)

5.3 常用随机变量的数学期望和方差

5.3.1 (0-1)分布，\(X\sim B(1,p)\)

\[EX=p\\ DX=p(1-p) \]

5.3.2 二项分布，\(X\sim B(n,p)\)

\[P\{X=k\}=C^k_np^k(1-p)^{n-k}\quad k=0,1,...,n \]

\[EX=np\\ DX=np(1-p) \]

5.3.3 泊松分布，\(X\sim \Pi(\lambda)\)

\[P\{X=k\}=\dfrac{e^{-\lambda}\lambda^k}{k!}\quad k=0,1,2,... \]

\[EX=\lambda\\ DX=\lambda \]

5.3.4 均匀分布，\(X\sim U[a,b]\)

\[f(x)=\left\{\begin{aligned} &\dfrac{1}{b-a},&&a\leq x\leq b\\ &0,&&其它 \end{aligned}\right. \]

\[EX=\dfrac{a+b}{2}\\ DX=\dfrac{(b-a)^2}{12} \]

5.3.5 指数分布，\(X\sim e(\lambda)\)

\[f(x)=\left\{\begin{aligned} &\lambda e^{-\lambda x},&&x>0\\ &0,&&x\leq0 \end{aligned}\right. \]

\[EX=\dfrac{1}{\lambda}\\ DX=\dfrac{1}{\lambda^2} \]

5.3.6 正态分布 \(X\sim (\mu,\sigma^2)\)

\[f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\,e^{-\dfrac{(x-\mu)^2}{2\sigma^2}}\quad -\infty<x<+\infty \]

\[EX=\mu\\ DX=\sigma^2 \]

定理1：正态分布的性质

1. 设\((X_1,X_2)\sim N(\mu_1,\sigma_1^2;\mu_2,\sigma^2_2;\rho)\)，则

\[X_i\sim N(\mu_i,\sigma_i^2)\\ EX_i=\mu_i,\quad DX_i=\sigma_i^2 \]

2. \(X_1,X_2\) 相互独立 \(\Leftrightarrow \rho=0\)

\[\begin{aligned} Z=k_1X_1+k_2X_2+b&\sim N(EZ,DZ)\\ &\sim N(k_1\mu_1+k_2\mu_2+b,k_1^2\sigma_1^2+k_2^2\sigma^2_2) \end{aligned} \]

定理2：

设随机变量 \(X_1,X_2,...,X_n,X_{n+1},X_{n+2},...,X_{n+m}\) 相互独立，\(g(x_1,x_2,...,x_n),h(y_1,y_2,...,y_m)\) 是连续函数，设

\[Y_1=g(X_1,X_2,...,X_n)\\ Y_2=h(X_{n+1},X_{n+2},...,X_{n+m}) \]

则 \(Y_1,Y_2\) 相互独立

5.4 协方差和相关系数

5.4.1 协方差

定义

称数值 \(E[(X-EX)(Y-EY)]\) 为随机变量 \(X\) 与 \(Y\) 的协方差，记作 \(Cov(X,Y)\) ，即

\[Cov(X,Y)=E[(X-EX)(Y-EY)] \]

• 协方差为正，正相关
• 协方差为负，负相关
• 协方差为0，零相关
• 协方差绝对值越大，两个变量同或反向程度也越大

常用计算公式

\[Cov(X,Y)=E(XY)-EX\cdot EY \]

协方差的性质

1. \(Cov(X,Y)=Cov(Y,X)\)

2. \(Cov(aX,bY)=abCov(X,Y)\)

3. \(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)

4. 若 \(X,Y\) 相互独立，\(Cov(X,Y)=0\)，逆命题不成立

5. \(D(X+Y)=DX+DY+2Cov(X,Y)\)

   \(D(X-Y)=DX+DY-2Cov(X,Y)\)

5.4.2 相关系数

定义

称数值 \(\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}\quad DX,DY\ne 0\) 为随机变量 \(X\) 与 \(Y\) 的相关系数或标准协方差，记作 \(\rho_{XY}\) 或简记作 \(\rho\)，即：

\[\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}=Cov(X^*,Y^*) \]

若 \(X,Y\) 的相关系数 \(\rho =0\)，则称 \(X,Y\) 不相关

定理

若 \(X,Y\) 相互独立，则

\[Cov(X,Y)=0\\ \rho_{XY}=0 \]

即：

• \(X,Y\) 相互独立\(\Rightarrow X,Y\) 不相关
• \(X,Y\) 不相关 不一定 \(X,Y\) 相互独立

性质

1. \(|\rho|\leq 1\)
2. \(|\rho|=1\Leftrightarrow P\{Y=aX+b\}=1\)，\(X,Y\) 之间以概率1存在线性关系

相关系数 \(\rho\) 刻画了随机变量 \(X,Y\) 之间的线性关系的近似程度。

\(|\rho|\) 越接近1，\(X,Y\) 越接近线性关系。

柯西不等式

设 \(X,Y\) 为任意随机变量，则

1. \([E(XY)^2]\leq E(X^2)\cdot E(Y^2)\)
2. 等式成立 \(\Leftrightarrow\) 存在常数 \(t_0\)，使得 \(P\{Y=t_0X\}=1\)

定理

设 \((X,Y)\sim N(\mu_1,\sigma_1;\mu_2,\sigma_2;\rho)\)

\[Cov(X,Y)=\rho \sigma_1\sigma_2\\ \rho_{XY}=\rho \]

• \(\rho_{XY}=\rho=0\Leftrightarrow X,Y\) 不相关
• \(\rho=0\Leftrightarrow X,Y\) 相互独立

5.5 矩、协方差矩阵

5.5.1 矩

矩是一些数字特征的泛称或总称。

定义

设 \(X,Y\) 是随机变量，

• 若 \(E(X^k),k=1,2,...\) 存在，则称它为 \(X\) 的 \(k\) 阶原点矩
• 若 \(E(X-EX)^k,k=1,2,...\) 存在，则称它为 \(X\) 的 \(k\) 阶中心矩

数学期望 \(EX=EX^1\) 是一阶原点矩

方差 \(DX=E(X-EX)^2\) 是二阶中心矩

此外，定义：

• \(E(X^kY^l)\quad (k+l)\) 阶原点混合矩
• \(E[(X-EX)^k(Y-EY)^l]\quad (k+l)\) 阶中心混合矩
• \(E|X|^k\quad k\) 阶原点绝对矩
• \(E|X-EX|^k\quad k\) 阶中心绝对矩

5.5.2 协方差矩阵

定义

对于 \(n\) 维随机向量 \((X_1,X_2,...,X_n)\)，

若 \(C_{ij}=Cov(X_i,X_j)=E[(X_i-EX_i)(X_j-EX_j)]\quad i,j=1,2,...,n\) 存在

则矩阵 \(C=(C_{ij})_{n\times n}\) 称为 \((X_1,X_2,...,X_n)\) 的协方差矩阵

协方差矩阵 \(C=(C_{ij})_{n\times n}\) 是一个对称矩阵。

二维正态随机变量 \((X_1,X_2)\)

若令

\[X= \left(\begin{array}&x_1\\x_2\end{array}\right)\quad U=\left(\begin{array}&\mu_1\\\mu_2\end{array}\right) \]

\((X_1,X_2)\) 的协方差矩阵为

\[\begin{aligned} &C=\left(\begin{array} &C_{11}&C_{12}\\ C_{21}&C_{22} \end{array}\right)= \left(\begin{array} &\sigma_1^2&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{array}\right)\\ &C^{-1}=\dfrac{1}{\det C}\left(\begin{array} &\sigma_2^2 &-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{array}\right)\\ &\det C=\sigma^2_1\sigma^2_2(1-\rho^2) \end{aligned} \]

则有

\[\begin{aligned} &(X-U)'C^{-1}(X-U)\\=&\dfrac{1}{\det C}(x_1-\mu_1,x_2-\mu_2) \left(\begin{array}&\sigma_2^2&-\rho\sigma_1\sigma_2\\-\rho\sigma_1\sigma_2&\sigma_1^2\end{array}\right)\left(\begin{array}&x_1-\mu_1\\x_2\mu_2\end{array}\right)\\ =&-\dfrac{1}{1-\rho^2}[\Big(\dfrac{x_1-\mu_1}{\sigma_1}\Big)^2-2\rho\dfrac{(x_1-\mu_1)}{\sigma_1}\dfrac{(x_2-\mu_2)}{\sigma_2}+\Big(\dfrac{x_2-\mu_2}{\sigma_2}\Big)^2] \end{aligned} \]

于是 \((X_1,X_2)\) 的概率密度可写成

\[f(x_1,x_2)=\dfrac{1}{2\pi\sqrt{\det C}}\exp\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U) \} \]

\(n\) 维正态随机变量 \((X_1,X_2,...,X_n)\)

\[f(x_1,x_2,...,x_n)=\dfrac{1}{(2\pi)^\frac{n}{2}\sqrt{\det C}}\exp\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U) \} \]

其中

\[X=\left(\begin{array}&x_1\\x_2\\\vdots\\x_n\end{array}\right) ,\quad U=\left(\begin{array}&\mu_1\\\mu_2\\\vdots\\\mu_n\end{array}\right)=\left(\begin{array}&EX_1\\EX_2\\\vdots\\EX_n\end{array}\right),\quad C=(C_{ij})_{n\times n} \]