深度學(xué)習(xí)的幾何學(xué)——信號處理視角
定 價：79 元
- 作者：（韓）芮鐘喆
- 出版時間：2023/1/1
- ISBN：9787121447990
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP181
- 頁碼：256
- 紙張：
- 版次：01
- 開本：16開
深度學(xué)習(xí)是人工智能與機器學(xué)習(xí)領(lǐng)域的重要研究分支，經(jīng)過短短十幾年的發(fā)展，已經(jīng)在計算機視覺與圖像處理、自然語言處理等領(lǐng)域取得令人矚目的成就。本書作為深度學(xué)習(xí)方面的專門書籍，融合了機器學(xué)習(xí)、人工神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的相關(guān)概念，并且從信號處理視角呈現(xiàn)了深度學(xué)習(xí)背后的幾何學(xué)原理，以便從統(tǒng)一的角度去深化理解深度學(xué)習(xí)的主要模型和算法，從而更好地用于指導(dǎo)理論分析和實踐開發(fā)。全書分為三個部分，共14章。第1～4章為第一部分，主要介紹機器學(xué)習(xí)基礎(chǔ)知識，包括向量空間、矩陣代數(shù)、凸優(yōu)化等數(shù)學(xué)預(yù)備知識，以及支持向量機、核回歸等經(jīng)典機器學(xué)習(xí)技術(shù)；第5～9章為第二部分，主要介紹深度學(xué)習(xí)的構(gòu)成要素，包括人工神經(jīng)網(wǎng)絡(luò)與反向傳播、卷積神經(jīng)網(wǎng)絡(luò)、圖神經(jīng)網(wǎng)絡(luò)及歸一化和注意力機制，重點介紹這些模型背后的數(shù)學(xué)原理和幾何解釋；第10~14章為第三部分，主要介紹深度學(xué)習(xí)的高級主題，包括深度神經(jīng)網(wǎng)絡(luò)幾何學(xué)、深度學(xué)習(xí)優(yōu)化與泛化能力，以及生成模型與無監(jiān)督學(xué)習(xí)。
Jong Chul Ye（芮鐘喆）于1999年獲美國普渡大學(xué)博士學(xué)位，現(xiàn)任韓國科學(xué)技術(shù)院（Korea Advanced Institute for Science and Technology，KAIST）生物與腦工程系教授和數(shù)學(xué)科學(xué)系兼職教授；長期從事壓縮感知圖像重建、信號處理和機器學(xué)習(xí)等研究；是IEEE Fellow，IEEE SPS計算成像技術(shù)委員會主席；目前是IEEE Transactions on Medical Imaging副主編、IEEE Signal Processing Magazine資深編輯，以及BMC Biomedical Engineering部門編輯；曾擔(dān)任2020 IEEE Symposium on Biomedical Imaging（ISBI）大會共主席，IEEE Transactions on Image Processing、IEEE Transactions on Computational Imaging、Journal of Electronic Imaging副主編，Magnetic Resonance in Medicine編委會成員，以及Physics in Medicine and Biology國際咨詢委員會成員。
周浦城，博士，副教授，先后主持或參加國家863、自然科學(xué)基金、武器裝備預(yù)研、軍內(nèi)科研等課題20余項，公開發(fā)表論文80余篇，其中SCI檢索3篇、EI檢索45篇。
第一部分 機器學(xué)習(xí)基礎(chǔ)
第1章 數(shù)學(xué)預(yù)備知識 2
1.1 度量空間 2
1.2 向量空間 3
1.3 巴拿赫空間與希爾伯特空間 4
1.4 概率空間 7
1.5 矩陣代數(shù) 8
1.5.1 Kronecker積 10
1.5.2 矩陣與向量微積分 11
1.6 凸優(yōu)化基礎(chǔ) 12
1.6.1 基本概念 12
1.6.2 凸集與凸函數(shù) 14
1.6.3 次微分 15
1.6.4 凸共軛 16
1.6.5 拉格朗日對偶公式 18
1.7 習(xí)題 20
第2章 線性與核分類器 22
2.1 引言 22
2.2 硬間隔線性分類器 23
2.2.1 可分離情況的最大間隔
分類器 23
2.2.2 對偶公式 25
2.2.3 KKT條件與支持向量 26
2.3 軟間隔線性分類器 27
2.4 采用核SVM的非線性
分類器 29
2.4.1 特征空間中的線性
分類器 29
2.4.2 核技巧 30
2.5 圖像分類的經(jīng)典方法 31
2.6 習(xí)題 32
第3章 線性回歸、邏輯回歸與
核回歸 34
3.1 引言 34
3.2 線性回歸 34
3.3 邏輯回歸 36
3.3.1 對數(shù)概率與線性回歸 36
3.3.2 使用邏輯回歸進行
多分類 37
3.4 嶺回歸 38
3.5 核回歸 39
3.6 回歸中的偏差-方差權(quán)衡 41
3.7 習(xí)題 43
第4章 再生核希爾伯特空間與
表示定理 44
4.1 引言 44
4.2 再生核希爾伯特空間 45
4.2.1 特征映射和核 46
4.2.2 再生核希爾伯特空間的
定義 47
4.3 表示定理 49
4.4 表示定理的應(yīng)用 50
4.4.1 核嶺回歸 50
4.4.2 核SVM 51
4.5 核機器的優(yōu)缺點 53
4.6 習(xí)題 53
第二部分 深度學(xué)習(xí)的構(gòu)成要素
第5章 生物神經(jīng)網(wǎng)絡(luò) 56
5.1 引言 56
5.2 神經(jīng)元 56
5.2.1 神經(jīng)元解剖 56
5.2.2 信號傳輸機制 57
5.2.3 突觸可塑性 58
5.3 生物神經(jīng)網(wǎng)絡(luò) 59
5.3.1 視覺系統(tǒng) 60
5.3.2 Hubel-Wiesel模型 60
5.3.3 Jennifer Aniston細胞 61
5.4 習(xí)題 62
第6章 人工神經(jīng)網(wǎng)絡(luò)與反向傳播 64
6.1 引言 64
6.2 人工神經(jīng)網(wǎng)絡(luò) 64
6.2.1 符號約定 64
6.2.2 單個神經(jīng)元建模 65
6.2.3 多層前饋神經(jīng)網(wǎng)絡(luò) 67
6.3 人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練 68
6.3.1 問題描述 68
6.3.2 優(yōu)化器 69
6.4 反向傳播算法 72
6.4.1 反向傳播算法的推導(dǎo) 72
6.4.2 反向傳播算法的幾何
解釋 75
6.4.3 反向傳播算法的變分
解釋 75
6.4.4 局部變分公式 77
6.5 習(xí)題 78
第7章 卷積神經(jīng)網(wǎng)絡(luò) 80
7.1 引言 80
7.2 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)發(fā)展
簡史 81
7.2.1 AlexNet 81
7.2.2 GoogLeNet 81
7.2.3 VGGNet 83
7.2.4 ResNet 83
7.2.5 DenseNet 84
7.2.6 U-Net 84
7.3 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)構(gòu)件 85
7.3.1 卷積 85
7.3.2 池化與反池化 87
7.3.3 跳躍連接 89
7.4 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò) 90
7.4.1 損失函數(shù) 90
7.4.2 數(shù)據(jù)劃分 90
7.4.3 正則化 91
7.5 卷積神經(jīng)網(wǎng)絡(luò)可視化 92
7.6 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 94
7.7 習(xí)題 95
第8章 圖神經(jīng)網(wǎng)絡(luò) 98
8.1 引言 98
8.2 數(shù)學(xué)基礎(chǔ) 100
8.2.1 定義 100
8.2.2 圖同構(gòu) 100
8.2.3 圖著色 101
8.3 相關(guān)工作 102
8.3.1 詞嵌入 102
8.3.2 損失函數(shù) 105
8.4 圖嵌入 105
8.4.1 矩陣分解方法 106
8.4.2 隨機游走方法 106
8.4.3 神經(jīng)網(wǎng)絡(luò)方法 107
8.5 WL同構(gòu)測試與圖神經(jīng)
網(wǎng)絡(luò) 109
8.5.1 WL同構(gòu)測試 109
8.5.2 圖神經(jīng)網(wǎng)絡(luò)作為WL
測試 110
8.6 總結(jié)和展望 111
8.7 習(xí)題 111
第9章 歸一化和注意力 113
9.1 引言 113
9.2 歸一化 115
9.2.1 批量歸一化 115
9.2.2 逐層和實例歸一化 116
9.2.3 自適應(yīng)實例歸一化 117
9.2.4 白化與著色變換 119
9.3 注意力 120
9.3.1 代謝型受體：生物學(xué)
類比 120
9.3.2 空間注意力的數(shù)學(xué)建模 121
9.3.3 通道注意力 123
9.4 應(yīng)用 124
9.4.1 StyleGAN 124
9.4.2 自注意力GAN 125
9.4.3 注意力GAN 126
9.4.4 圖注意力網(wǎng)絡(luò) 127
9.4.5 Transformer 128
9.4.6 BERT 130
9.4.7 GPT 133
9.4.8 視覺Transformer 135
9.5 歸一化與注意力的數(shù)學(xué)
分析 136
9.6 習(xí)題 138
第三部分 深度學(xué)習(xí)的高級主題
第10章 深度神經(jīng)網(wǎng)絡(luò)幾何學(xué) 141
10.1 引言 141
10.2 實例探究 142
10.2.1 單隱層感知器 142
10.2.2 框架表示 143
10.3 卷積小波框架 146
10.3.1 卷積與Hankel矩陣 146
10.3.2 卷積小波框架展開 148
10.3.3 與卷積神經(jīng)網(wǎng)絡(luò)的
聯(lián)系 148
10.3.4 深度卷積小波框架 150
10.4 卷積神經(jīng)網(wǎng)絡(luò)的幾何學(xué) 152
10.4.1 非線性的作用 152
10.4.2 非線性是歸納學(xué)習(xí)的
關(guān)鍵 153
10.4.3 表達能力 153
10.4.4 特征的幾何意義 154
10.4.5 自編碼器的幾何理解 159
10.4.6 分類器的幾何理解 161
10.5 尚待解決的問題 161
10.6 習(xí)題 163
第11章 深度學(xué)習(xí)優(yōu)化 164
11.1 引言 164
11.2 問題描述 164
11.3 Polyak-?ojasiewicz型收斂性
分析 165
11.4 Lyapunov型收斂性分析 169
11.4.1 神經(jīng)正切核 171
11.4.2 無限寬極限的神經(jīng)正
切核 172
11.4.3 一般損失函數(shù)的神經(jīng)正
切核 173
11.5 習(xí)題 174
第12章 深度學(xué)習(xí)的泛化能力 175
12.1 引言 175
12.2 數(shù)學(xué)基礎(chǔ) 175
12.2.1 Vapnik-Chervonenkis界 178
12.2.2 Rademacher復(fù)雜度界 180
12.2.3 PAC貝葉斯界 183
12.3 利用雙下降模型協(xié)調(diào)泛化
?鴻溝 184
12.4 歸納偏置優(yōu)化 187
12.5 基于算法魯棒性的泛化界 188
12.6 習(xí)題 190
第13章 生成模型與無監(jiān)督學(xué)習(xí) 192
13.1 引言 192
13.2 數(shù)學(xué)基礎(chǔ) 193
13.3 統(tǒng)計距離 196
13.3.1 f散度 196
13.3.2 Wasserstein度量 197
13.4 最優(yōu)傳輸 199
13.4.1 Monge原始公式 199
13.4.2 Kantorovich公式 200
13.4.3 熵正則化 202
13.5 生成對抗網(wǎng)絡(luò) 203
13.5.1 GAN的最初形式 203
13.5.2 f–GAN 205
13.5.3 Wasserstein GAN 207
13.5.4 StyleGAN 208
13.6 自編碼器型生成模型 208
13.6.1 ELBO 209
13.6.2 變分自編碼器 209
13.6.3 β–VAE 212
13.6.4 歸一化流與可逆流 213
13.7 通過圖像翻譯進行無監(jiān)督
?學(xué)習(xí) 216
13.7.1 Pix2pix 216
13.7.2 CycleGAN 217
13.7.3 StarGAN 219
13.7.4 協(xié)同GAN 222
13.8 總結(jié)與展望 224
13.9 習(xí)題 224
第14章 總結(jié)與展望 226
附錄A 專業(yè)術(shù)語中英文對照表 228
參考文獻 234
書單推薦
