本章重点和难点:
掌握离散时间Markov链概念,会计算转移概率及其矩阵,掌握转移概率所遵守的卡普曼-柯尔莫哥洛夫方程(C-K方程),理解初始分布与绝对分布,掌握转移概率的极限与平稳分布、遍历态与平稳分布间的关系;了解连续时间Markov链