本书共分六部分21章。第一部分是强化学习基础 ; 第二部分是用于强化学习的值函数逼近方法 ; 第三部分是最小二乘策略迭代方法 ; 第四部分是模糊近似强化学习方法 ; 第五部分是并行强化学习方法 ; 第六部分是离策略强化学习方法。