目　錄

Machine Learning for Signal Processing：Data Science，Algorithms,and Computational Statistics








譯者序

前言
第1章　數(shù)學(xué)基礎(chǔ)1
　1.1　抽象代數(shù)1

　　1.1.1　群1

　　1.1.2　環(huán)2

　1.2　度量3

　1.3　向量空間4

　　1.3.1　線性算子6

　　1.3.2　矩陣代數(shù)7

　　1.3.3　方陣和可逆矩陣7

　　1.3.4　特征值和特征向量8

　　1.3.5　特殊矩陣9

　1.4　概率與隨機(jī)過程10

　　1.4.1　樣本空間、事件、度量和
分布10

　　1.4.2　聯(lián)合隨機(jī)變量：獨(dú)立性、
條件性和邊緣性12

　　1.4.3　貝葉斯準(zhǔn)則13

　　1.4.4　期望、生成函數(shù)和
特征函數(shù)14

　　1.4.5　經(jīng)驗(yàn)分布函數(shù)和樣本期望16

　　1.4.6　變換隨機(jī)變量17

　　1.4.7　多元高斯分布和其他
極限分布17

　　1.4.8　隨機(jī)過程19

　　1.4.9　馬爾可夫鏈20

　1.5　數(shù)據(jù)壓縮與信息論23

　　1.5.1　信息映射的重要性25

　　1.5.2　互信息和KL散度26

　1.6　圖27

　1.7　凸性29

　1.8　計(jì)算復(fù)雜性31

　　1.8.1　復(fù)雜性的階和大O表示法31

　　1.8.2　可處理和難處理的問題：
NP完全性31
第2章　優(yōu)化33
　2.1　預(yù)備知識(shí)33

　　2.1.1　連續(xù)可微問題與臨界點(diǎn)33

　　2.1.2　等式約束下的連續(xù)優(yōu)化：
拉格朗日乘子34

　　2.1.3　不等式約束：二元性和
Karush�睰uhn�睺ucker條件35

　　2.1.4　迭代法的收斂性和收斂
速度36

　　2.1.5　不可微的連續(xù)問題37

　　2.1.6　離散（組合）優(yōu)化問題38

　2.2　連續(xù)凸問題的解析方法39

　　2.2.1　L2范數(shù)目標(biāo)函數(shù)39

　　2.2.2　混合L2-L1范數(shù)目標(biāo)
函數(shù)40

　2.3　連續(xù)凸問題的數(shù)值方法41

　　2.3.1　迭代重加權(quán)小二乘法41

　　2.3.2　梯度下降42

　　2.3.3　調(diào)整步長：線搜索43

　　2.3.4　牛頓方法45

　　2.3.5　其他梯度下降方法47

　2.4　不可微連續(xù)凸問題47

　　2.4.1　線性規(guī)劃48

　　2.4.2　二次規(guī)劃48

　　2.4.3　次梯度法49

　　2.4.4　原始對偶內(nèi)點(diǎn)法50

　　2.4.5　路徑跟蹤方法52

　2.5　連續(xù)非凸問題53

　2.6　離散（組合）優(yōu)化的啟發(fā)式算法53

　　2.6.1　貪婪搜索54

　　2.6.2�。ê唵危┙�忌搜索54

　　2.6.3　模擬退火55

　　2.6.4　隨機(jī)重啟56
第3章　隨機(jī)采樣57
　3.1　生成（均勻）隨機(jī)數(shù)57

　3.2　從連續(xù)分布中進(jìn)行采樣58

　　3.2.1　分位數(shù)函數(shù)（逆累積分布
函數(shù)）與逆變換采樣58

　　3.2.2　隨機(jī)變量變換方法59

　　3.2.3　拒絕采樣59

　　3.2.4　對數(shù)凹密度的自適應(yīng)
抑制采樣60

　　3.2.5　特殊分布的特殊方法62

　3.3　離散分布采樣63

　　3.3.1　基于順序查找的逆變換
采樣63

　　3.3.2　離散變量的拒絕采樣64

　　3.3.3�。ù螅┯邢迾颖究臻g的逆序
二分查找64

　3.4　一般多元分布的采樣65

　　3.4.1　原始采樣65

　　3.4.2　吉布斯采樣66

　　3.4.3　Metropolis�睭astings算法68

　　3.4.4　其他馬爾可夫鏈蒙特卡羅
方法70
第4章　統(tǒng)計(jì)建模和推斷73
　4.1　統(tǒng)計(jì)模型73

　　4.1.1　參數(shù)模型和非參數(shù)模型73

　　4.1.2　貝葉斯模型和非貝葉斯
模型74

　4.2　概率推斷74

　　4.2.1　似然和小KL散度75

　　4.2.2　損失函數(shù)和經(jīng)驗(yàn)風(fēng)險(xiǎn)估計(jì)76

　　4.2.3　后驗(yàn)和正則化77

　　4.2.4　正則化、模型復(fù)雜性和
數(shù)據(jù)壓縮79

　　4.2.5　交叉驗(yàn)證和正則化82

　　4.2.6　自助法83

　4.3　貝葉斯推理84

　4.4　與度量和范數(shù)相關(guān)的分布86

　　4.4.1　小二乘法86

　　4.4.2　小Lq范數(shù)87

　　4.4.3　協(xié)方差、加權(quán)范數(shù)和
馬氏距離88

　4.5　指數(shù)族89

　　4.5.1　熵分布90

　　4.5.2　充分統(tǒng)計(jì)和規(guī)范90

　　4.5.3　共軛先驗(yàn)93

　　4.5.4　先驗(yàn)和后驗(yàn)可預(yù)測指數(shù)族95

　　4.5.5　共軛指數(shù)族先驗(yàn)混合95

　4.6　通過分位數(shù)定義的分布96

　4.7　與分段線性損失函數(shù)相關(guān)的
密度98

　4.8　非參數(shù)密度估計(jì)100

　4.9　采樣推理101

　　4.9.1　馬爾可夫鏈蒙特卡羅
推理101

　　4.9.2　馬爾可夫鏈蒙特卡羅方法
的收斂性評估102
第5章　概率圖模型104
　5.1　利用概率圖模型的統(tǒng)計(jì)建模104

　5.2　對概率圖模型中條件獨(dú)立性的
探討107

　　5.2.1　隱藏變量和觀察變量107

　　5.2.2　定向連接和分離108

　　5.2.3　節(jié)點(diǎn)的馬爾可夫毯109

　5.3　關(guān)于概率圖模型的推論110

　　5.3.1　精確推理110

　　5.3.2　近似推理113
第6章　統(tǒng)計(jì)機(jī)器學(xué)習(xí)117
　6.1　特征和核函數(shù)117

　6.2　混合建模117

　　6.2.1　混合模型的吉布斯采樣119

　　6.2.2　混合模型的期望化119

　6.3　分類121

　　6.3.1　二次判別分析和線性判別
分析122

　　6.3.2　邏輯回歸123

　　6.3.3　支持向量機(jī)124

　　6.3.4　分類損失函數(shù)和誤分類
計(jì)數(shù)126

　　6.3.5　分類器的選擇127

　6.4　回歸127

　　6.4.1　線性回歸127

　　6.4.2　貝葉斯和正則線性回歸128

　　6.4.3　線性參數(shù)回歸129

　　6.4.4　廣義線性模型130

　　6.4.5　非參數(shù)、非線性回歸131

　　6.4.6　變量選擇133

　6.5　聚類134

　　6.5.1　K均值和變量135

　　6.5.2　軟K均值聚類、均值
漂移聚類及其變體137

　　6.5.3　半監(jiān)督聚類和分類139

　　6.5.4　聚類數(shù)的選擇139

　　6.5.5　其他聚類方法140

　6.6　降維140

　　6.6.1　主成分分析141

　　6.6.2　概率主成分分析143

　　6.6.3　非線性降維145
第7章　線性高斯系統(tǒng)和信號(hào)
處理148
　7.1　預(yù)備知識(shí)148

　　7.1.1　三角信號(hào)和相關(guān)函數(shù)148

　　7.1.2　復(fù)數(shù)、單位根和復(fù)指數(shù)149

　　7.1.3　線性高斯模型的邊緣和
條件150

　7.2　線性時(shí)不變系統(tǒng)151

　　7.2.1　卷積和脈沖響應(yīng)151

　　7.2.2　離散時(shí)間傅里葉變換152

　　7.2.3　有限長周期信號(hào)：離散
傅里葉變換156

　　7.2.4　連續(xù)時(shí)間線性時(shí)不變
系統(tǒng)159

　　7.2.5　海森堡不確定性160

　　7.2.6　吉布斯現(xiàn)象161

　　7.2.7　離散時(shí)間線性時(shí)不變系統(tǒng)的
傳遞函數(shù)分析162

　　7.2.8　快速傅里葉變換164

　7.3　線性時(shí)不變信號(hào)處理167

　　7.3.1　有理濾波器設(shè)計(jì)：有限脈沖
響應(yīng)和無限脈沖響應(yīng)濾波167

　　7.3.2　數(shù)字濾波器設(shè)計(jì)方案175

　　7.3.3　超長信號(hào)的傅里葉變換176

　　7.3.4　作為離散卷積的核回歸178

　7.4　線性高斯DSP的統(tǒng)計(jì)穩(wěn)定性
研究179

　　7.4.1　離散時(shí)間高斯過程和
DSP179

　　7.4.2　非參數(shù)功率譜密度估計(jì)183

　　7.4.3　參數(shù)化功率譜密度估計(jì)187

　　7.4.4　子空間分析：在DSP中
使用主成分分析188

　7.5　卡爾曼濾波192

　　7.5.1　用于卡爾曼濾波計(jì)算的
連接樹算法193

　　7.5.2　前向?yàn)V波194

　　7.5.3　后向平滑195

　　7.5.4　不完全數(shù)據(jù)似然196

　　7.5.5　線性高斯系統(tǒng)中的
維特比譯碼196

　　7.5.6　Baum�瞁elch參數(shù)估計(jì)197

　　7.5.7　信號(hào)子空間分析中的
卡爾曼濾波199

　7.6　時(shí)變線性系統(tǒng)200

　　7.6.1　短時(shí)傅里葉變換和完美
重構(gòu)200

　　7.6.2　連續(xù)時(shí)間小波變換202

　　7.6.3　離散化和離散小波變換204

　　7.6.4　小波設(shè)計(jì)207

　　7.6.5　離散小波變換的應(yīng)用208
第8章　離散信號(hào)：采樣、量化
和編碼210
　8.1　離散時(shí)間采樣210

　　8.1.1　帶限采樣211

　　8.1.2　均勻帶限采樣：Shannon��
Whittaker插值212

　　8.1.3　廣義均勻采樣214

　8.2　量化217

　　8.2.1　率失真理論218

　　8.2.2　Lloyd�睲ax和熵約束量化器
設(shè)計(jì)220

　　8.2.3　統(tǒng)計(jì)量化和抖動(dòng)223

　　8.2.4　矢量量化228

　8.3　有損信號(hào)壓縮229

　　8.3.1　音頻壓縮擴(kuò)展229

　　8.3.2　線性預(yù)測編碼230

　　8.3.3　變換編碼232

　8.4　壓縮感知234

　　8.4.1　稀疏和不相干235

　　8.4.