第十二章 马尔可夫链

12.1 马尔可夫链的定义

12.1.1 定义

设随机过程 \(\{X(t), t \in T\}\) 的状态空间 \(S\) 是有限集或可列集，对任意正整数 \(n\)，对于 \(T\) 内任意 \(n+1\) 个状态参数 \(t_1<t_2<...<t_n<t_{n+1}\) 和 \(S\) 内任意 \(n+1\) 个状态 \(j_1, j_2, ..., j_n, j_{n+1}\)，如果条件概率

\[\begin{aligned} &P\{X(t_{n+1}) = j_{n+1}|X(t_1)=j_1, X(t_2)=j_2,...,X(t_n)=j_n\}\\ =&P\{X(t_{n+1})=j_{n+1}|X(t_n)=j_n\} \end{aligned} \]

恒成立，则称此过程为马尔可夫链。

12.1.2 马尔可夫链的分类

状态空间 \(S\) 是离散的（有限集或可列集），参数集 \(T\) 可为离散或连续。

12.1.3 离散参数马尔可夫链

1. 转移概率

定义

设离散参数马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\)

条件概率 \(P\{X(t_{m+1})=j|X(t_m)=i\}=p_{ij}(t_m)\) 称为 \(X(t)\) 在时刻（参数）\(t_m\) 由状态 \(i\) 一步转移到状态 \(j\) 的一步转移概率，简称转移概率。

条件概率 \(P\{X(t_{m+n})=j|X(t_m)=i\}=p_{ij}^{(n)}(t_m)\) 称为 \(X(t)\) 在时刻（参数）\(t_m\) 由状态 \(i\) \(n\) 步转移到状态 \(j\) 的 \(n\) 步转移概率。

2. \(n\) 步转移概率的性质

对于状态空间 \(S\) 内的任意两个状态 \(i\) 和 \(j\)，恒有

1. \(p_{ij}^{(n)}(t_m)\geq 0\)
2. \(\sum\limits_{j \in S}p_{ij}^{(n)}(t_m)=1\)

12.1.4 离散参数的齐次马尔可夫链

定义

设离散参数马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\)

如果一步转移概率 \(p_{ij}(t_m)\) 不依赖于参数 \(t_m\)，即对任意两个不等的参数 \(t_m\) 和 \(t_k,m\ne k\)，有

\[p_{ij}(t_m)=p_{ij}(t_k)=p_{ij} \]

则称此马尔可夫链具有齐次性或时齐性，称 \(X(t)\) 为离散参数的齐次马尔可夫链。

12.2 参数离散的齐次马尔可夫链

12.2.1 转移概率矩阵

定义

设 \(\{X(t), t = t_0, t_1, t_2, ..., t_n, ...\}\) 是齐次马尔可夫链，由于状态空间 \(S\) 是离散的，不妨设 \(S=\{0, 1, 2, ...,n, ...\}\) 则对 \(S\) 内的任意两个状态 \(i\) 和 \(j\)，由转移概率 \(p_{ij}=P\{X(t_{m+1})|X(t_m)=i\}\) 排序一个矩阵：

\[P= \left( \begin{array} &p_{00}&p_{01}&\cdots&p_{0j}&\cdots\\ p_{10}&p_{11}&\cdots&p_{1j}&\cdots\\ \vdots&\vdots&\ddots&\vdots&\cdots\\ p_{i0}&p_{i1}&\cdots&p_{ij}&\cdots\\ \vdots&\vdots&\vdots&\vdots&\ddots \end{array} \right) \]

称为（一步）转移概率矩阵。

（一步）转移概率矩阵的性质

1. \(p_{ij}\geq 0\) 即元素均非负
2. \(\sum\limits_{j\in S}p_{ij}=1\) 即每行和为 \(1\)

具有以上两个性质的方阵称为随机矩阵，转移概率矩阵就是一个随机矩阵。

12.2.2 切普曼-柯尔莫哥洛夫方程

定理

设 \(\{X(t), t=t_0, t_1, t_2, ..., t_n, ...\}\) 是参数离散的马尔可夫链，\(S\) 为其状态空间，则有：

\[p_{ij}^{(n+l)}(t_m)= \sum\limits_{k \in S} p_{ik}^{(n)}(t_m) \cdot p^{(l)}_{kj}(t_{m+n}) \]

称为切普曼-柯尔莫哥洛夫方程（简称 C-K 方程）。

注：

1. 如果马尔可夫链具有齐次性，那么 C-K 方程化为：\(p_{ij}^{(n+l)}=\sum\limits_{k \in S} p_{ik}^{(n)} \cdot p^{(l)}_{kj}\)

2. 对于齐次马氏链，当 \(n=l=1\) 时得到 \(p_{ij}^{(2)}=\sum\limits_k p_{ik}p_{kj}\)

   改写为矩阵形式得：\(P^{(2)}=P^2\)

   归纳得到 \(P^{(n)}=P^n,\space n=2,3,...\)

12.2.3 有限维概率分布

1. 初始分布（初始概率）

马氏链 \(\{X(t), t = t_0, t_1, t_2, ...\}\) 在初始时刻 \(t_0\) 的一维概率分布：

\[p_{j}(t_0)=P\{X(t_0)=j\}, \quad j=0, 1, 2, ... \]

2. 绝对分布（绝对概率，瞬时概率）

马尔可夫链在任何时刻 \(t_n\) 的一维概率分布：

\[p_j(t_n)=P\{X(t_n)=j\},\quad j = 0,1,2,... \]

---

齐次马尔可夫链在时刻 \(t_n\) 的瞬时概率完全由初始分布和 \(n\) 步转移概率所决定：

\[p_j(t_n)=\sum\limits_{i=0}^{+\infty} p_i(t_0)\cdot p_{ij}^{(n)},\quad j=0, 1, 2,... \]

向量形式：

\[\begin{aligned} &\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big)\\ =&\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big)\cdot P^n \end{aligned} \]

3. \(n\) 维概率分布

设齐次马尔可夫链的参数集和状态空间都是非负整数集。

定理

设齐次马尔可夫链 \(\{X(n), n=0,1,2,...\}\) 的状态空间 \(S=\{0, 1, 2, ...,i, ...\}\)，则对 \(T\) 内任意 \(n\) 个非负整数 \(k_1<k_2<...<k_n\) 和 \(S\) 内的任意 \(n\) 个状态 \(j_1, j_2, ...,j_n\)，有：

\[\begin{aligned} &P\{X(k_1) = j_1, X(k_2)=j_2, ..., X(k_n) = j_n\}\\ =& \sum\limits_{i=0}^{+\infty}p_i(0)\cdot p_{ij_1}^{(k_1)}\cdot p_{j_1j_2}^{(k_2 - k_1)}...p_{j_{n-1}j_n}^{(k_n-k_{n-1})} \end{aligned} \]

4. 平稳分布

定义

对于齐次马尔可夫链 \(\{X(t), t = t_0, t_1, t_2, ...\}\)，如果存在一维概率分布 \(p_j\space j=1,2,...\)，满足：

\[p_i=\sum\limits_{i=0}^{+\infty}p_ip_{ij} \]

或

\[(p_0, p_1, p_2, ..., p_j, ...)=(p_0, p_1, p_2, ..., p_j, ...)\cdot P \]

则称 \(p_j,\space j=0,1,2,...\) 为平稳分布，称 \(X(t)\) 具有平稳性，是平稳齐次马尔可夫链。

定理

如果齐次马尔可夫链 \(\{X(t), t=t_0, t_1, t_2,...\}\) 的初始分布 \(p_j(t_0)=P\{X(t_0)=j\},\space j=0,1,2,...\) 是一个平稳分布，则对 \(\forall n\)

\[p_j(t_n) = P\{X(t_n)=j\}=p_j(t_0),\space j=0,1,2,... \]

\[\big(p_0(t_n), p_1(t_n), ..., p_j(t_n), ...\big) =\big(p_0(t_0), p_1(t_0), ..., p_j(t_0), ...\big) \]

是一个严平稳时间序列。