第 一篇　初探強(qiáng)化學(xué)習(xí) 第　1章 強(qiáng)化學(xué)習(xí)緒論　3 1.1　初探強(qiáng)化學(xué)習(xí)　4 1.1.1　強(qiáng)化學(xué)習(xí)與機(jī)器學(xué)習(xí)　5 1.1.2　強(qiáng)化學(xué)習(xí)與監(jiān)督學(xué)習(xí)的區(qū)別　6 1.1.3　歷史發(fā)展　8 1.2　基礎(chǔ)理論　10 1.2.1　組成元素　11 1.2.2　環(huán)境模型　12 1.2.3　探索與利用　12 1.2.4　預(yù)測(cè)與控制　13 1.2.5　強(qiáng)化學(xué)習(xí)的特點(diǎn)　14 1.3　應(yīng)用案例　14 1.4　強(qiáng)化學(xué)習(xí)的思考　18 1.4.1　強(qiáng)化學(xué)習(xí)待解決問(wèn)題　18 1.4.2　強(qiáng)化學(xué)習(xí)的突破點(diǎn)　23 1.5　小結(jié)　25 第　2章 數(shù)學(xué)基礎(chǔ)及環(huán)境　26 2.1　簡(jiǎn)介　27 2.2　馬爾可夫決策過(guò)程　27 2.2.1　馬爾可夫性質(zhì)　27 2.2.2　馬爾可夫決策過(guò)程　27 2.3　強(qiáng)化學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)理論　29 2.3.1　策略　30 2.3.2　獎(jiǎng)勵(lì)　30 2.3.3　價(jià)值函數(shù)　31 2.4　求解強(qiáng)化學(xué)習(xí)　31 2.4.1　貝爾曼方程　31 2.4.2　最優(yōu)值函數(shù)　32 2.4.3　最優(yōu)策略　32 2.4.4　求解最優(yōu)策略　33 2.5　示例：HelloGrid迷宮環(huán)境　36 2.5.1　初識(shí)OpenAI Gym庫(kù)　37 2.5.2　建立HelloGrid環(huán)境　38 2.6　小結(jié)　43 第二篇　求解強(qiáng)化學(xué)習(xí) 第3章　動(dòng)態(tài)規(guī)劃法　47 3.1　動(dòng)態(tài)規(guī)劃　48 3.1.1　動(dòng)態(tài)規(guī)劃概述　48 3.1.2　動(dòng)態(tài)規(guī)劃與貝爾曼方程　48 3.2　策略評(píng)估　49 3.2.1　策略評(píng)估算法　49 3.2.2　策略評(píng)估算法實(shí)現(xiàn)　50 3.3　策略改進(jìn)　54 3.4　策略迭代　56 3.4.1　策略迭代算法　57 3.4.2　策略迭代算法實(shí)現(xiàn)　58 3.5　值迭代　60 3.5.1　值迭代算法　61 3.5.2　值迭代算法實(shí)現(xiàn)　62 3.6　異步動(dòng)態(tài)規(guī)劃　64 3.6.1　In-Place動(dòng)態(tài)規(guī)劃　65 3.6.2　加權(quán)掃描動(dòng)態(tài)規(guī)劃　65 3.6.3　實(shí)時(shí)動(dòng)態(tài)規(guī)劃　66 3.7　討論　66 3.8　小結(jié)　67 第4章　蒙特卡洛法　68 4.1　認(rèn)識(shí)蒙特卡洛法　69 4.1.1　經(jīng)驗(yàn)軌跡　69 4.1.2　蒙特卡洛法數(shù)學(xué)原理　74 4.1.3　蒙特卡洛法的特點(diǎn)　74 4.2　蒙特卡洛預(yù)測(cè)　74 4.2.1　蒙特卡洛預(yù)測(cè)算法　75 4.2.2　蒙特卡洛預(yù)測(cè)算法的實(shí)現(xiàn)　76 4.3　蒙特卡洛評(píng)估　80 4.4　蒙特卡洛控制　81 4.4.1　蒙特卡洛控制概述　82 4.4.2　起始點(diǎn)探索　84 4.4.3　非起始點(diǎn)探索　85 4.4.4　非固定策略　90 4.5　小結(jié)　96 第5章　時(shí)間差分法　98 5.1　時(shí)間差分概述　99 5.2　時(shí)間差分預(yù)測(cè)　99 5.2.1　時(shí)間差分預(yù)測(cè)原理　99 5.2.2　TD(λ)算法　101 5.2.3　時(shí)間差分預(yù)測(cè)特點(diǎn)　104 5.2.4　CartPole游戲　104 5.3　時(shí)間差分控制Sarsa算法　106 5.3.1　Sarsa算法原理　106 5.3.2　Sarsa算法實(shí)現(xiàn)　108 5.4　時(shí)間差分控制Q-learning算法　114 5.4.1　Q-learning算法原理　114 5.4.2　Q-learning算法實(shí)現(xiàn)　115 5.5　擴(kuò)展時(shí)間差分控制法　121 5.5.1　期望Sarsa算法　121 5.5.2　Double Q-learning算法　121 5.6　比較強(qiáng)化學(xué)習(xí)求解法　123 5.7　小結(jié)　126 第三篇　求解強(qiáng)化學(xué)習(xí)進(jìn)階 第6章　值函數(shù)近似法　129 6.1　大規(guī)模強(qiáng)化學(xué)習(xí)　130 6.2　值函數(shù)近似法概述　131 6.2.1　函數(shù)近似　131 6.2.2　值函數(shù)近似的概念　133 6.2.3　值函數(shù)近似的類(lèi)型　133 6.2.4　值函數(shù)近似的求解思路　134 6.3　值函數(shù)近似法原理　135 6.3.1　梯度下降算法　135 6.3.2　梯度下降與值函數(shù)近似　137 6.3.3　線性值函數(shù)近似法　138 6.4　值函數(shù)近似預(yù)測(cè)法　139 6.4.1　蒙特卡洛值函數(shù)近似預(yù)測(cè)法　139 6.4.2　時(shí)間差分TD(0)值函數(shù)近似預(yù)測(cè)法　140 6.4.3　TD(λ)值函數(shù)近似預(yù)測(cè)法　141 6.5　值函數(shù)近似控制法　142 6.5.1　值函數(shù)近似控制原理　143 6.5.2　爬山車(chē)游戲　143 6.5.3　Q-learning值函數(shù)近似　145 6.6　小結(jié)　156 第7章　策略梯度法　157 7.1　認(rèn)識(shí)策略梯度法　158 7.1.1　策略梯度概述　158 7.1.2　策略梯度法與值函數(shù)近似法的區(qū)別　159 7.1.3　策略梯度法的優(yōu)缺點(diǎn)　160 7.2　策略目標(biāo)函數(shù)　161 7.2.1　起始價(jià)值　162 7.2.2　平均價(jià)值　162 7.2.3　時(shí)間步平均獎(jiǎng)勵(lì)　162 7.3　優(yōu)化策略目標(biāo)函數(shù)　163 7.3.1　策略梯度　163 7.3.2　評(píng)價(jià)函數(shù)　163 7.3.3　策略梯度定理　165 7.4　有限差分策略梯度法　165 7.5　蒙特卡洛策略梯度法　165 7.5.1　算法原理　166 7.5.2　算法實(shí)現(xiàn)　166 7.6　演員-評(píng)論家策略梯度法　177 7.6.1　算法原理　177 7.6.2　算法實(shí)現(xiàn)　179 7.7　小結(jié)　185 第8章　整合學(xué)習(xí)與規(guī)劃　187 8.1　基于模型的強(qiáng)化學(xué)習(xí)概述　188 8.1.1　基于模型的強(qiáng)化學(xué)習(xí)　188 8.1.2　基于模型的優(yōu)點(diǎn)　188 8.1.3　基于模型的缺點(diǎn)　189 8.2　學(xué)習(xí)與規(guī)劃　189 8.2.1　學(xué)習(xí)過(guò)程　189 8.2.2　規(guī)劃過(guò)程　191 8.3　架構(gòu)整合　192 8.3.1　Dyna算法　193 8.3.2　優(yōu)先遍歷算法　194 8.3.3　期望更新和樣本更新　196 8.4　基于模擬的搜索　196 8.4.1　蒙特卡洛搜索　197 8.4.2　蒙特卡洛樹(shù)搜索　197 8.4.3　時(shí)間差分搜索　199 8.5　示例：國(guó)際象棋　199 8.5.1　國(guó)際象棋與強(qiáng)化學(xué)習(xí)　200 8.5.2　蒙特卡洛樹(shù)搜索示例　201 8.6　小結(jié)　203 第四篇　深度強(qiáng)化學(xué)習(xí) 第9章　深度強(qiáng)化學(xué)習(xí)　207 9.1　深度學(xué)習(xí)概述　208 9.1.1　深度表征　208 9.1.2　深度神經(jīng)網(wǎng)絡(luò)　208 9.1.3　網(wǎng)絡(luò)可訓(xùn)練　208 9.1.4　權(quán)值共享　210 9.2　深度神經(jīng)網(wǎng)絡(luò)（DNN）　210 9.2.1　基本單元——神經(jīng)元　210 9.2.2　線性模型與激活函數(shù)　211 9.2.3　多層神經(jīng)網(wǎng)絡(luò)　212 9.2.4　訓(xùn)練與預(yù)測(cè)　213 9.3　卷積神經(jīng)網(wǎng)絡(luò)（CNN）　214 9.3.1　概述　214 9.3.2　卷積神經(jīng)網(wǎng)絡(luò)的核心操作　215 9.3.3　卷積神經(jīng)網(wǎng)絡(luò)的核心思想　218 9.4　循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）　220 9.4.1　序列數(shù)據(jù)建模　220 9.4.2　循環(huán)神經(jīng)網(wǎng)絡(luò)基本結(jié)構(gòu)　221 9.4.3　循環(huán)神經(jīng)網(wǎng)絡(luò)模型詳解　222 9.5　回顧強(qiáng)化學(xué)習(xí)　223 9.5.1　智能體和環(huán)境　224 9.5.2　基于價(jià)值的強(qiáng)化學(xué)習(xí)　225 9.5.3　基于策略的強(qiáng)化學(xué)習(xí)　225 9.5.4　基于模型的強(qiáng)化學(xué)習(xí)　225 9.6　深度強(qiáng)化學(xué)習(xí)　225 9.6.1　深度強(qiáng)化學(xué)習(xí)框架　226 9.6.2　深度強(qiáng)化學(xué)習(xí)應(yīng)用　227 9.7　小結(jié)　230 第　10章 深度Q網(wǎng)絡(luò)　231 10.1　DQN概述　232 10.1.1　深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí)的差異對(duì)比　232 10.1.2　DQN算法簡(jiǎn)述　232 10.2　DQN算法核心思想　235 10.2.1　目標(biāo)函數(shù)　235 10.2.2　目標(biāo)網(wǎng)絡(luò)　236 10.2.3　經(jīng)驗(yàn)回放　236 10.3　DQN核心算法　237 10.3.1　DQN網(wǎng)絡(luò)模型　237 10.3.2　DQN算法流程　239 10.3.3　DQN算法實(shí)現(xiàn)　243 10.4　DQN擴(kuò)展　256 10.4.1　Double DQN　257 10.4.2　Prioritized DQN　257 10.4.3　Dueling DQN　258 10.5　小結(jié)　259 第　11章 深度強(qiáng)化學(xué)習(xí)算法框架　260 11.1　DDPG算法　261 11.1.1　背景介紹　261 11.1.2　基本概念及算法原理　262 11.1.3　DDPG實(shí)現(xiàn)框架及流程　264 11.2　A3C算法　268 11.2.1　背景介紹　269 11.2.2　A3C算法原理　269 11.2.3　異步實(shí)現(xiàn)框架及流程　272 11.2.4　實(shí)驗(yàn)效果　274 11.3　Rainbow算法　275 11.3.1　背景介紹　275 11.3.2　Rainbow算法流程　279 11.3.3　實(shí)驗(yàn)效果　280 11.4　Ape-X 算法　280 11.4.1　背景介紹　281 11.4.2　Ape-X算法架構(gòu)　281 11.4.3　Ape-X算法流程　282 11.4.4　實(shí)驗(yàn)效果　284 11.5　小結(jié)　285 第　12章 從圍棋AlphaGo到AlphaGo Zero　287 12.1　人工智能與圍棋　288 12.1.1　強(qiáng)化學(xué)習(xí)與圍棋　288 12.1.2　AlphaGo進(jìn)化階段　289 12.1.3　AlphaGo版本對(duì)比　290 12.2　AlphaGo算法詳解　292 12.2.1　策略網(wǎng)絡(luò)　293 12.2.2　價(jià)值網(wǎng)絡(luò)　295 12.2.3　蒙特卡洛樹(shù)搜索　296 12.2.4　實(shí)驗(yàn)結(jié)果　298 12.3　AlphaGo Zero算法詳解　299 12.3.1　問(wèn)題定義　299 12.3.2　聯(lián)合網(wǎng)絡(luò)　299 12.3.3　強(qiáng)化學(xué)習(xí)過(guò)程　300 12.3.4　蒙特卡洛樹(shù)搜索　301 12.3.5　實(shí)驗(yàn)結(jié)果　303 12.4　思考　305 12.5　小結(jié)　305 附錄部分 附錄A　激活函數(shù)　309 附錄B　損失函數(shù)　314 附錄C　深度學(xué)習(xí)的超參數(shù)　319 附錄D　深度學(xué)習(xí)的技巧　322 附錄E　反向傳播算法　329 參考文獻(xiàn)　336