目錄
《大數(shù)據(jù)與數(shù)據(jù)科學(xué)專著系列》序
前言
主要符號(hào)表
第1章 深度神經(jīng)網(wǎng)絡(luò)與學(xué)習(xí)理論 1
1.1 機(jī)器學(xué)習(xí)及其三要素 2
1.2 深度神經(jīng)網(wǎng)絡(luò) 3
1.3 學(xué)習(xí)理論 6
1.4 深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論問(wèn)題 10
1.5 文獻(xiàn)導(dǎo)讀 13
第2章 淺層神經(jīng)網(wǎng)絡(luò)的逼近理論 15
2.1 淺層神經(jīng)網(wǎng)絡(luò)的稠密性.15
2.2 淺層神經(jīng)網(wǎng)絡(luò)逼近的復(fù)雜性與優(yōu)越性 18
2.3 淺層神經(jīng)網(wǎng)絡(luò)逼近的局限性 22
2.4 相關(guān)證明 26
2.5 文獻(xiàn)導(dǎo)讀 40
第3章 深度的必要性 43
3.1 函數(shù)逼近中深度的作用.43
3.2 深度與寬度對(duì)神經(jīng)網(wǎng)絡(luò)覆蓋數(shù)的影響 45
3.3 深度的必要性.49
3.4 深度神經(jīng)網(wǎng)絡(luò)的最優(yōu)泛化性 51
3.5 數(shù)值實(shí)驗(yàn) 53
3.6 相關(guān)證明 55
3.7 文獻(xiàn)導(dǎo)讀 69
第4章 深度全連接神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論 72
4.1 深度全連接神經(jīng)網(wǎng)絡(luò)的性質(zhì) 72
4.2 深度全連接神經(jīng)網(wǎng)絡(luò)的適用性 75
4.3 數(shù)據(jù)規(guī)模在深度學(xué)習(xí)中的作用 80
4.4 數(shù)值實(shí)驗(yàn) 84
4.5 相關(guān)證明 87
4.6 文獻(xiàn)導(dǎo)讀 102
第5章 深度稀疏連接神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論 104
5.1 稀疏連接神經(jīng)網(wǎng)絡(luò) 104
5.2 深度稀疏連接神經(jīng)網(wǎng)絡(luò)的性質(zhì).108
5.3 深度選擇與深度-參數(shù)平衡現(xiàn)象 111
5.4 深度稀疏連接神經(jīng)網(wǎng)絡(luò)的構(gòu)造 115
5.5 數(shù)值實(shí)驗(yàn) 118
5.6 相關(guān)證明 121
5.7 文獻(xiàn)導(dǎo)讀 133
第6章 深度卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論 136
6.1 卷積神經(jīng)網(wǎng)絡(luò) 136
6.2 零填充在卷積神經(jīng)網(wǎng)絡(luò)中的作用 141
6.3 池化的作用 143
6.4 卷積神經(jīng)網(wǎng)絡(luò)的逼近與學(xué)習(xí)性能 147
6.5 數(shù)值實(shí)驗(yàn) 149
6.6 相關(guān)證明 152
6.7 文獻(xiàn)導(dǎo)讀 164
第7章 過(guò)參數(shù)化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)理論 167
7.1 過(guò)參數(shù)化神經(jīng)網(wǎng)絡(luò) 167
7.2 全局極小解的分布與性質(zhì) 169
7.3 過(guò)參數(shù)化神經(jīng)網(wǎng)絡(luò)的泛化性能 171
7.4 數(shù)值實(shí)驗(yàn) 174
7.5 相關(guān)證明 177
7.6 文獻(xiàn)導(dǎo)讀 185
參考文獻(xiàn) 187
《大數(shù)據(jù)與數(shù)據(jù)科學(xué)專著系列》已出版書目 195