第1章　數(shù)據(jù)的量化和特征提取 1
1.1　機(jī)器學(xué)習(xí)概述 1
1.2　特征提取 2
1.3　向量距離計(jì)算 6
第2章　線性回歸 12
2.1　線性回歸的基本概念 13
2.2　損失函數(shù)和梯度下降法 14
2.3　訓(xùn)練集和測(cè)試集 19
2.4　多項(xiàng)式回歸 21
2.5　線性回歸的高級(jí)技巧 23
2.5.1　特征敏感性研究 23
2.5.2　損失函數(shù)的選擇 24
第3章　邏輯回歸 27
3.1　邏輯回歸的基本原理 28
3.2　交叉熵和KL距離 32
3.2.1　KL距離 32
3.2.2　梯度下降法 34
3.2.3　上采樣和下采樣 36
3.3　線性不可分及其解決方案 38
3.4　L1正則和L2正則 39
3.5　分類模型的評(píng)價(jià)標(biāo)準(zhǔn) 43
3.6　邏輯回歸的特征提升技巧 47
3.6.1　特征歸一化 47
3.6.2　特征分段 49
3.7　深入理解損失函數(shù)和邏輯函數(shù) 51
第4章　因子分解模型 55
4.1　基本原理和特征交叉 55
4.1.1　基本原理 55
4.1.2　特征交叉簡(jiǎn)化 58
4.1.3　參數(shù)學(xué)習(xí) 59
4.2　因子分解模型和矩陣分解 61
第5章　經(jīng)典分類模型 63
5.1　支持向量機(jī) 63
5.1.1　支持向量機(jī)的基本原理 63
5.1.2　支持向量機(jī)和邏輯回歸的比較 68
5.2　核方法 70
5.2.1　核函數(shù) 70
5.2.2　核函數(shù)在支持向量機(jī)中的應(yīng)用 72
5.3　樸素貝葉斯 73
5.3.1　樸素貝葉斯原理 73
5.3.2　樸素貝葉斯的參數(shù)估計(jì) 76
5.4　維數(shù)災(zāi)難 78
5.5　奧卡姆剃刀定律的應(yīng)用 82
5.6　經(jīng)驗(yàn)風(fēng)險(xiǎn)、期望風(fēng)險(xiǎn)和結(jié)構(gòu)風(fēng)險(xiǎn) 83
第6章　無(wú)監(jiān)督學(xué)習(xí) 85
6.1　K-Means聚類 86
6.1.1　K-Means算法的基本原理 86
6.1.2　改進(jìn)型K-Means算法 88
6.1.3　K-Means算法和邏輯回歸的結(jié)合應(yīng)用 91
6.2　主題模型 92
6.2.1　LDA模型的原理 93
6.2.2　LDA模型的訓(xùn)練 95
第7章　集成學(xué)習(xí) 100
7.1　決策樹 100
7.2　隨機(jī)森林 105
7.3　GBDT 108
第8章　深度神經(jīng)網(wǎng)絡(luò) 113
8.1　BP神經(jīng)網(wǎng)絡(luò)的基本原理 113
8.2　多分類與Softmax函數(shù) 118
8.3　梯度下降法和鏈?zhǔn)椒▌t 120
8.4　度量學(xué)習(xí) 125
第9章　神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 130
9.1　激活函數(shù)選型 131
9.2　權(quán)重初始化 135
9.3　改進(jìn)型梯度下降法 137
9.3.1　隨機(jī)梯度下降法 138
9.3.2　鞍點(diǎn)問(wèn)題 141
9.3.3　梯度下降法的優(yōu)化 142
9.4　過(guò)擬合解決方案 145
9.4.1　正則化 145
9.4.2　Dropout 146
9.4.3　提前終止 147
9.4.4　批標(biāo)準(zhǔn)化和層標(biāo)準(zhǔn)化 148
9.4.5　Shortcut 151
9.4.6　標(biāo)簽平滑 151
9.4.7　人工制造數(shù)據(jù) 152
第10章　自然語(yǔ)言處理 154
10.1　自然語(yǔ)言處理模型 154
10.2　one-hot編碼和embedding技術(shù) 156
10.3　哈夫曼樹和負(fù)采樣 161
10.3.1　哈夫曼樹 161
10.3.2　負(fù)采樣 163
10.4　Word2vec的應(yīng)用 165
10.5　fastText模型的原理及應(yīng)用 166
第11章　卷積神經(jīng)網(wǎng)絡(luò) 169
11.1　卷積層和池化層 169
11.2　卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用 177
11.3　卷積神經(jīng)網(wǎng)絡(luò)中的批標(biāo)準(zhǔn)化 179
11.4　TextCNN的原理及應(yīng)用 180
第12章　深入卷積層 185
12.1　1 × 1卷積 185
12.2　小尺寸卷積 186
12.3　寬度卷積和Inception 187
12.4　Depthwise卷積和Pointwise卷積 189
12.5　特征通道加權(quán)卷積 193
第13章　循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM模型 196
13.1　循環(huán)神經(jīng)網(wǎng)絡(luò)模型詳解 196
13.1.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理 196
13.1.2　循環(huán)神經(jīng)網(wǎng)絡(luò)存在的一些問(wèn)題 199
13.2　LSTM模型詳解 202
13.3　LSTM模型的改進(jìn)和應(yīng)用 206
13.4　CTC算法 208
第14章　Attention模型和Transformer模型 210
14.1　Attention模型詳解 210
14.1.1　注意力機(jī)制的基本原理 210
14.1.2　Attention模型概述 212
14.1.3　Attention模型的改進(jìn)形式 214
14.1.4　Self-Attention模型 215
14.1.5　Multi-Head Attention模型 217
14.2　Transformer模型原理 219
14.3　BERT模型及應(yīng)用 221