目錄
前言
第一章 緒論 1
1.1 模式和模式識別 1
1.2 模式識別系統(tǒng) 2
1.2.1 原始數(shù)據(jù)獲取 3
1.2.2 原始數(shù)據(jù)的預(yù)處理 3
1.2.3 特征提取和選擇 6
1.2.4 分類決策 6
1.3 數(shù)據(jù)矩陣與樣本空間 9
1.3.1 數(shù)據(jù)矩陣與樣本空間 9
1.3.2 模式的相似性度量 11
1.3.3 樣本點的權(quán)重和特征向量數(shù)據(jù)的預(yù)處理 12
1.4 主成分分析 15
1.4.1 主成分分析的基本思想 16
1.4.2 主成分分析算法 17
1.4.3 降維處理及信息損失 19
第二章 貝葉斯決策 21
2.1 基于最小錯誤率的貝葉斯決策 21
2.1.1 決策規(guī)則 21
2.1.2 錯誤率 23
2.1.3 分類器設(shè)計 25
2.2 Neyman-Pearson決策 26
2.3 正態(tài)分布時的貝葉斯決策 28
2.4 分類器的效率和錯誤率 30
2.4.1 分類器的效率、錯誤率和判選率矩陣 30
2.4.2 錯誤率的上界 32
2.4.3 利用檢驗樣本集估計判選率矩陣和錯誤率 33
2.4.4 訓(xùn)練樣本集和檢驗樣本集的劃分 35
2.4.5 利用判選率矩陣估計各類“真實”樣本數(shù) 37
2.4.6 分類器判定的“信號”樣本中錯判事例的扣除 39
2.5 討論 41
第三章 線性判別方法 43
3.1 線性判別函數(shù) 43
3.1.1 線性判別函數(shù)的基本概念 43
3.1.2 廣義線性判別函數(shù) 46
3.1.3 線性分類器的設(shè)計 48
3.2 Fisher線性判別 48
3.3 感知準則函數(shù) 54
3.3.1 幾個基本概念 54
3.3.2 感知準則函數(shù) 56
3.4 最小錯分樣本數(shù)準則函數(shù) 58
3.5 最小平方誤差準則函數(shù) 60
3.5.1 平方誤差準則函數(shù)及其MSE解 60
3.5.2 MSE準則函數(shù)的梯度下降算法 62
3.5.3 隨機MSE準則函數(shù)及其隨機逼近算法 63
3.6 多類問題 65
第四章 決策樹判別 68
4.1 超長方體分割法 68
4.1.1 超長方體分割法的基本思想 68
4.1.2 超長方體分割法中閾值的確定 69
4.1.3 超長方體分割法的優(yōu)缺點及其改進 71
4.1.4 超長方體分割法用于高能物理實驗分析 73
4.2 決策樹法 79
4.2.1 決策樹法的基本思想 79
4.2.2 信號/本底二元決策樹的構(gòu)建 81
4.2.3 決策樹的修剪 83
4.3 決策樹林法 84
4.3.1 決策樹林的構(gòu)建 85
4.3.2 決策樹林對輸入事例的分類 86
4.3.3 重抽樣法構(gòu)建決策樹林 87
第五章人工神經(jīng)網(wǎng)絡(luò) 88
5.1 概述 88
5.1.1 生物神經(jīng)元和人工神經(jīng)元 88
5.1.2 人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成和學(xué)習(xí)規(guī)則 90
5.2 感知器 93
5.2.1 單輸出單元感知器 93
5.2.2 多輸出單元感知器 94
5.3 多層前向神經(jīng)網(wǎng)絡(luò)和誤差逆?zhèn)鞑ニ惴?96
5.3.1 BP網(wǎng)絡(luò)學(xué)習(xí)算法 97
5.3.2 BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進 100
5.4 Hopfield神經(jīng)網(wǎng)絡(luò) 103
5.4.1 離散 Hopfield網(wǎng)絡(luò) 103
5.4.2 連續(xù) Hopfield網(wǎng)絡(luò) 109
5.4.3 Hopfield網(wǎng)絡(luò)在優(yōu)化計算中的應(yīng)用 111
5.5 隨機神經(jīng)網(wǎng)絡(luò) 115
5.5.1 隨機神經(jīng)網(wǎng)絡(luò)的基本思想 115
5.5.2 模擬退火算法 116
5.5.3 Boltzmann機及其工作規(guī)則 118
5.5.4 Boltzmann機學(xué)習(xí)規(guī)則 120
5.5.5 隨機神經(jīng)網(wǎng)絡(luò)小結(jié) 126
5.6 神經(jīng)網(wǎng)絡(luò)用于粒子鑒別 127
5.6.1 用于帶電粒子鑒別的特征變量 127
5.6.2 帶電粒子鑒別的神經(jīng)網(wǎng)絡(luò)的架構(gòu) 130
5.6.3 網(wǎng)絡(luò)的訓(xùn)練和粒子鑒別效果 132
第六章 近鄰法 135
6.1 最近鄰法 135
6.2 k近鄰法 136
6.3 剪輯近鄰法 138
6.3.1 兩分剪輯近鄰法 139
6.3.2 重復(fù)剪輯近鄰法 141
6.4 可作拒絕決策的近鄰法 143
6.4.1 具有拒絕決策的k近鄰法 143
6.4.2 具有拒絕決策的剪輯近鄰法 144
第七章 其他非線性判別方法 146
7.1 概率密度估計量方法 146
7.1.1 基本思想 146
7.1.2 總體概率密度的非參數(shù)估計 147
7.1.3 投影似然比估計 153
7.1.4 多維概率密度估計 155
7.1.5 近鄰體積中樣本數(shù)的確定 155
7.1.6 概率密度估計法與神經(jīng)網(wǎng)絡(luò)的性能對比 157
7.2 H矩陣判別 161
7.3 函數(shù)判別分析 162
7.4 支持向量機 165
7.4.1 最優(yōu)分類面 165
7.4.2 廣義最優(yōu)分類面 168
7.4.3 支持向量機 169
第八章 不同判別方法的比較 173
8.1 不同判別方法的特點 173
8.2 多元統(tǒng)計分析程序包TMVA簡介 178
參考文獻 186