描述一类重要的随机动态系统(过程)的模型:
系统在每个时期所处的状态是随机的 从一时期到下时期的状态按一定概率转移 下时期状态只取决于本时期状态和转移概率 已知现在,将来与过去无关(无后效性)
马氏链 (Markov Chain) —— 时间、状态均为离散的随机过程。
例1. 人的健康状况分为健康和疾病两种状态,设对特定年龄段的人,今年健康、明年保持健康状态的概率为0.8, 而今年患病、明年转为健康状态的概率为0.7。