推薦序一
推薦序二
推薦序三
前言
致謝
第1章人工智能系統(tǒng)概述1
本章簡介1
內(nèi)容概覽2
1.1　深度學(xué)習(xí)的歷史、現(xiàn)狀與發(fā)展2
1.1.1　深度學(xué)習(xí)的廣泛應(yīng)用2
1.1.2　深度學(xué)習(xí)方法4
1.1.3　神經(jīng)網(wǎng)絡(luò)基本理論的奠定5
1.1.4　深度學(xué)習(xí)算法、模型的現(xiàn)狀和趨勢9
1.1.5　小結(jié)與討論12
1.1.6　參考文獻12
1.2　算法、框架、體系結(jié)構(gòu)與算力的進步13
1.2.1　大數(shù)據(jù)和分布式系統(tǒng)13
1.2.2　深度學(xué)習(xí)算法的進步15
1.2.3　計算機體系結(jié)構(gòu)和計算能力的進步17
1.2.4　計算框架的進步18
1.2.5　小結(jié)與討論21
1.2.6　參考文獻21
1.3　深度學(xué)習(xí)系統(tǒng)的組成與生態(tài)22
1.3.1　深度學(xué)習(xí)系統(tǒng)的設(shè)計目標(biāo)22
1.3.2　深度學(xué)習(xí)系統(tǒng)的大致組成24
1.3.3　深度學(xué)習(xí)系統(tǒng)的生態(tài)27
1.3.4　小結(jié)與討論29
1.3.5　參考文獻29
1.4　深度學(xué)習(xí)樣例背后的系統(tǒng)問題29
1.4.1　一個深度學(xué)習(xí)樣例與其中的系統(tǒng)問題30
1.4.2　模型算子實現(xiàn)中的系統(tǒng)問題33
1.4.3　框架執(zhí)行深度學(xué)習(xí)模型的生命周期36
1.4.4　更廣泛的人工智能系統(tǒng)生態(tài)40
1.4.5　深度學(xué)習(xí)框架及工具入門實驗41
1.4.6　小結(jié)與討論44
1.4.7　參考文獻44
1.5　影響深度學(xué)習(xí)系統(tǒng)設(shè)計的理論、原則與假設(shè)44
1.5.1　抽象層次化表示與解釋45
1.5.2　摩爾定律與算力發(fā)展趨勢49
1.5.3　局部性原則與內(nèi)存層次結(jié)構(gòu)52
1.5.4　線性代數(shù)計算與模型缺陷容忍特性59
1.5.5　并行加速與阿姆達爾定律優(yōu)化上限64
1.5.6　冗余與可靠性67
1.5.7　小結(jié)與討論68
1.5.8　參考文獻68
第2章神經(jīng)網(wǎng)絡(luò)基礎(chǔ)70
本章簡介70
內(nèi)容概覽70
2.1　神經(jīng)網(wǎng)絡(luò)的基本概念70
2.1.1　神經(jīng)元的數(shù)學(xué)模型71
2.1.2　神經(jīng)網(wǎng)絡(luò)的主要功能72
2.1.3　激活函數(shù)73
2.1.4　小結(jié)與討論78
2.2　神經(jīng)網(wǎng)絡(luò)訓(xùn)練78
2.2.1　基本訓(xùn)練流程78
2.2.2　損失函數(shù)80
2.2.3　梯度下降82
2.2.4　反向傳播85
2.2.5　小結(jié)與討論85
2.3　解決回歸問題85
2.3.1　提出問題86
2.3.2　萬能近似定理86
2.3.3　定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)87
2.3.4　前向計算88
2.3.5　反向傳播89
2.3.6　運行結(jié)果91
2.3.7　小結(jié)與討論92
2.4　解決分類問題92
2.4.1　提出問題92
2.4.2　定義神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)93
2.4.3　前向計算94
2.4.4　反向傳播95
2.4.5　運行結(jié)果96
2.4.6　小結(jié)與討論96
2.5　深度神經(jīng)網(wǎng)絡(luò)97
2.5.1　抽象與設(shè)計97
2.5.2　權(quán)重矩陣初始化98
2.5.3　批量歸一化99
2.5.4　過擬合101
2.5.5　小結(jié)與討論103
2.6　梯度下降優(yōu)化算法103
2.6.1　隨機梯度下降算法103
2.6.2　動量算法104
2.6.3　Adam算法105
2.6.4　小結(jié)與討論105
2.7　卷積神經(jīng)網(wǎng)絡(luò)105
2.7.1　卷積神經(jīng)網(wǎng)絡(luò)的能力105
2.7.2　卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)106
2.7.3　卷積核的作用107
2.7.4　卷積后續(xù)的運算109
2.7.5　卷積神經(jīng)網(wǎng)絡(luò)的特性110
2.7.6　卷積類型111
2.7.7　小結(jié)與討論115
2.8　循環(huán)神經(jīng)網(wǎng)絡(luò)115
2.8.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史115
2.8.2　循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和典型用途117
2.8.3　小結(jié)與討論118
2.9　Transformer模型118
2.9.1　序列到序列模型119
2.9.2　注意力機制120
2.9.3　Transformer122
2.9.4　小結(jié)與討論125
第3章深度學(xué)習(xí)框架基礎(chǔ)126
本章簡介126
內(nèi)容概覽126
3.1　基于數(shù)據(jù)流圖的深度學(xué)習(xí)框架126
3.1.1　深度學(xué)習(xí)框架發(fā)展概述126
3.1.2　編程范式：聲明式和命令式128
3.1.3　數(shù)據(jù)流圖129
3.1.4　張量和張量操作130
3.1.5　自動微分基礎(chǔ)131
3.1.6　數(shù)據(jù)流圖上的自動微分135
3.1.7　數(shù)據(jù)流圖的調(diào)度與執(zhí)行136
3.1.8　單設(shè)備算子間調(diào)度136
3.1.9　圖切分與多設(shè)備執(zhí)行137
3.1.10　小結(jié)與討論138
3.1.11　參考文獻138
3.2　神經(jīng)網(wǎng)絡(luò)計算中的控制流139
3.2.1　背景139
3.2.2　靜態(tài)圖：向數(shù)據(jù)流圖中添加控制流原語141
3.2.3　動態(tài)圖：復(fù)用宿主語言控制流語句143
3.2.4　動態(tài)圖轉(zhuǎn)換為靜態(tài)圖144
3.2.5　小結(jié)與討論145
3.2.6　參考文獻145
第4章矩陣運算與計算機體系結(jié)構(gòu)147
本章簡介147
內(nèi)容概覽147
4.1　深度學(xué)習(xí)的歷史、現(xiàn)狀與發(fā)展148
4.1.1　全連接層148
4.1.2　卷積層148
4.1.3　循環(huán)網(wǎng)絡(luò)層149
4.1.4　注意力機制層149
4.1.5　小結(jié)與討論150
4.1.6　參考文獻150
4.2　計算機體系結(jié)構(gòu)與矩陣運算150
4.2.1　CPU體系結(jié)構(gòu)151
4.2.2　CPU實現(xiàn)高效計算矩陣乘152
4.2.3　在CPU上實現(xiàn)一個矩陣乘法算子實驗154
4.2.4　小結(jié)與討論155
4.3　GPU體系結(jié)構(gòu)與矩陣運算155
4.3.1　GPU體系結(jié)構(gòu)155
4.3.2　GPU編程模型156
4.3.3　GPU實現(xiàn)一個簡單的計算157
4.3.4　在GPU上實現(xiàn)一個矩陣乘法算子實驗159
4.3.5　小結(jié)與討論160
4.4　面向深度學(xué)習(xí)的專有硬件加速器與矩陣運算160
4.4.1　深度學(xué)習(xí)計算的特點與硬件優(yōu)化方向160
4.4.2　脈動陣列與矩陣計算162
4.4.3　小結(jié)與討論163
第5章深度學(xué)習(xí)的編譯與優(yōu)化164
本章簡介164
內(nèi)容概覽164
5.1　深度神經(jīng)網(wǎng)絡(luò)編譯器164
5.1.1　前端166
5.1.2　后端167
5.1.3　中間表達167
5.1.4　優(yōu)化過程168
5.1.5　小結(jié)與討論168
5.2　計算圖優(yōu)化168
5.2.1　算術(shù)表達式化簡169
5.2.2　公共子表達式消除169
5.2.3　常數(shù)傳播170
5.2.4　矩陣乘自動融合1