该算法通过考虑采样轨迹,克服了模型未知给策略估计造成的困难。此类算法需在完成一个采样轨迹后再更新策略的值估计,而基于动态规划的策略迭代和值迭代算法在每执行一步策略后就进行值函数更新。
两者相比,蒙特卡洛算法的效率要低得多,这里的主要问题是蒙特卡洛强化学习算法没有充分利用强化学习任务的MDP结构。
时序差分TD(Temporal Difference)学习则结合了动态规划与蒙特卡罗方法的思想,能做到更高效的免模型学习。