前言
自從1998年開始攻讀“模式識別與智能系統(tǒng)”專業(yè)的博士學位以來,我已經(jīng)在模式識別這個領域耕耘20余年了。記得博士畢業(yè)時,我曾經(jīng)非常奢望自己的論文能入選“全國優(yōu)秀博士論文”,目的只有一個,就是希望能夠出版我的博士論文,這樣就有一本自己編寫的關于模式識別的書了?上В萃麤]能變成現(xiàn)實。多年來,稍有閑暇我就會萌發(fā)寫一本“模式識別”書的念頭。但閑暇如過眼煙云,稍縱即逝,寫書的事也就被淡忘了。這次接到“人工智能出版工程”叢書編委會的邀請,便毫不遲疑地答應下來,總算有機會可以編寫一本“模式識別”的書了。
關于“模式識別”,國內(nèi)外已有不少優(yōu)秀的教材或?qū)V;仡欁约?0余年的研究歷程,模式識別的研究熱點不斷變遷。這個變遷過程遵循著一條被統(tǒng)稱為“表示學習”的主線,歷經(jīng)了“線性子空間表示”“非線性子空間表示”“流形學習”“稀疏表示”“低秩模型”“深度學習”等階段。因此,我們決定循著這條主線來布局本書的章節(jié)內(nèi)容!皺M看成嶺側(cè)成峰,遠近高低各不同”,希望本書能給讀者提供一個審視“模式識別”近年來發(fā)展脈絡的新的視角。
本打算自己慢慢來寫,慢慢地咀嚼回味20余年逝去的時光,但由于出版時間緊迫,容不得獨自一人慢條斯理地寫作,便只得邀請課題組的多位同事來協(xié)作完成,一起分享本書寫作過程的喜悅和寂寞。本書共7章,第1章由金忠教授完成;第2章和第3章由本人和錢建軍副教授共同完成,金忠教授審閱;第4章和第7章由崔振教授和許春燕副教授共同完成;第5章由宮辰教授領銜,深圳大學賴志輝教授、中山大學楊猛副教授共同參與完成;第6章由錢建軍副教授領銜,張恒敏博士主筆,本人審閱完成。在此,誠摯感謝所有為本書寫作做出貢獻和努力的各位同事和朋友!如果沒有你們的協(xié)作和付出,本書至少還需要一年甚至更多的時間才能完成。在此還要感謝電子工業(yè)出版社副總編輯趙麗松女士在本書寫作過程中給予的鼓勵和鞭策,以及編輯修改方面的諸多建議。最后,感謝我的家人,以及參與本書寫作的同事和朋友們的家人的大力支持,2019年的每個周末和整個暑期,因為本書的寫作,犧牲了陪伴你們的時間。
特別說明,本書參考文獻是按章編排的,因此,各章中標注的參考文獻均指的是本章的參考文獻。
由于時間緊迫,本人才疏學淺,難免有錯誤和疏漏之處,殷切希望各位讀者和同仁們批評指正,我將不勝感激。
楊健
2020年5月
楊健,南京理工大學教授、博士生導師,現(xiàn)任南京理工大學計算機學院/人工智能學院院長,長期從事模式識別與計算機視覺、生物特征識別等方面的研究,主持完成國家自然科學基金重大研究計劃重點項目、國家杰出青年科學基金項目、國家973課題等相關項目。2013年入選國家百千萬人才工程并被授予“有突出貢獻中青年專家”稱號,以及入選2013―2014年度教育部長江學者特聘教授;2018年入選萬人計劃科技創(chuàng)新領軍人才。他在IEEE Transactions及Pattern Recognition等國際權威SCI期刊和會議上發(fā)表論文200余篇,Google Scholar被引用20 000余次,單篇**被引4 000余次,2014―2020連續(xù)7年入選愛思唯爾(Elsevier)“中國高被引學者榜”。他現(xiàn)擔任或曾擔任國際學術期刊Pattern Recognition、IEEE Trans. on Neural Networks and Learning Systems、Pattern Recognition Letters、 Neurocomputing和EEE/CAA Journal of Automatica Sinica等編委。2016年入選國際模式識別學會會士(IAPR Fellow)。他曾獲得國家自然科學二等獎(第二完成人)、省部級一等獎3項(其中第一完成人2項)、第十一屆中國青年科技獎等獎項。
目錄
第1章 緒論
1.1 模式的基本概念
1.2 模式表示學習
1.2.1 線性子空間分析
1.2.2 基于流形、稀疏與低秩假設的模式表示
1.3 模式分類
1.3.1 貝葉斯分類器
1.3.2 最小距離分類器
1.3.3 最近鄰分類器
1.3.4 BP神經(jīng)網(wǎng)絡
1.3.5 支持向量機
1.3.6 分類器組合
1.4 應用算例
1.4.1 手寫體數(shù)字圖像識別
1.4.2 人臉圖像識別
參考文獻
第2章 線性子空間表示
2.1 主成分分析
2.1.1 基本概念
2.1.2 最小均方誤差逼近
2.1.3 PCA變換的統(tǒng)計不相關性
2.1.4 小樣本情況下的主成分分析
2.2 線性鑒別分析
2.2.1 基本概念
2.2.2 經(jīng)典的費希爾線性鑒別與Foley-Sammon線性鑒別方法
2.2.3 具有統(tǒng)計不相關性的線性鑒別分析
2.2.4 相關性分析
2.2.5 等價的最優(yōu)鑒別向量集
2.2.6 幾種等價的費希爾準則
2.3 小樣本情況下的線性鑒別分析
2.3.1 兩種線性鑒別方法的統(tǒng)一模型
2.3.2 壓縮映射基本原理
2.3.3 同構(gòu)映射基本原理
2.3.4 奇異情況下線性鑒別分析的實質(zhì):PCA+LDA
2.3.5 奇異情況下的組合鑒別分析方法
2.4 二維主成分分析
2.5 二維線性鑒別分析
2.5.1 基本思想
2.5.2 Liu圖像投影鑒別分析
2.5.3 統(tǒng)計不相關的圖像投影鑒別分析
2.5.4 圖像鑒別特征抽取方法
2.5.5 相關性分析
2.6 應用算例
2.6.1 主成分分析
2.6.2 線性鑒別分析
2.6.3 小樣本情況下的線性鑒別分析
2.6.4 二維主成分分析
2.6.5 二維線性鑒別分析
參考文獻
第3 章非線性子空間表示
3.1 核方法的基本思想
3.2 核主成分分析
3.3 核費希爾鑒別分析
3.3.1 基礎理論
3.3.2 最優(yōu)費希爾鑒別向量的搜尋空間
3.3.3 計算費希爾最優(yōu)鑒別向量的基本思想
3.3.4 簡明的KFD算法框架:KPCA+LDA
3.4 完整的KFD算法(CKFD)
3.4.1 抽取兩種鑒別信息
3.4.2 兩種鑒別信息的融合
3.4.3 完整的KFD算法步驟
3.4.4 與其他KFD方法和LDA方法的關系
3.5 應用算例
3.5.1 在FERET人臉數(shù)據(jù)集上的實驗
3.5.2 在手寫體數(shù)字CENPARMI數(shù)據(jù)集上的實驗
參考文獻
第4 章流形學習
4.1 概述
4.2 非線性嵌入方法
4.2.1 ISOMAP 算法
4.2.2 LLE算法
4.2.3 LE算法
4.2.4 LPP算法
4.2.5 NLPP算法
4.2.6 其他非線性嵌入算法
4.3 特殊的黎曼流形
4.3.1 正交矩陣的格拉斯曼流形
4.3.2 非對稱正定矩陣的李群流形
4.3.3 對稱正定矩陣的李群流形
4.3.4 矩陣流形上的降維算法
4.4 流形對齊
4.4.1 無監(jiān)督流形對齊問題描述
4.4.2 無監(jiān)督流形的點點對齊
4.4.3 無監(jiān)督流形的分布對齊
4.5 應用
4.5.1 圖像分類
4.5.2 生物識別
4.5.3 域遷移學習
參考文獻
第5章 稀疏表示
5.1 稀疏表示的基本算法
5.2 基于稀疏表示的特征抽取
5.2.1 稀疏主成分分析方法
5.2.2 稀疏判別分析方法
5.2.3 穩(wěn)健聯(lián)合稀疏嵌入方法
5.3 基于稀疏表示的分類
5.3.1 稀疏系數(shù)的作用
5.3.2 表示殘差的正則化
5.3.3 稀疏表示分類中的字典學習
5.3.4 擴展的稀疏表示分類
5.4 稀疏表示的典型應用
5.4.1 人臉識別
5.4.2 目標跟蹤
5.4.3 視覺顯著性檢測
參考文獻
第6章 低秩模型
6.1 概述
6.2 與核范數(shù)有關的RPCA
6.2.1 RPCA和穩(wěn)健矩陣補全
6.2.2 雙核范數(shù)的矩陣分解
6.2.3 雙核范數(shù)的歸納式矩陣分解
6.2.4 顯著性檢測的一個簡單例子
6.3 與核范數(shù)有關的 LRR
6.3.1 LRR和隱式LRR
6.3.2 無噪聲LRR的閉解
6.3.3 穩(wěn)健低秩表示
6.3.4 非凸低秩表示
6.4 與核范數(shù)有關的 RMR
6.4.1 Lq范數(shù)正則核范數(shù)的矩陣回歸
6.4.2 推廣冪指數(shù)分布的矩陣回歸
6.4.3 樹結(jié)構(gòu)核范數(shù)的矩陣回歸
6.4.4 貝葉斯相關組的矩陣回歸
6.5 應用
6.5.1 背景建模
6.5.2 子空間聚類
6.5.3 人臉識別
6.6 歸納與展望
參考文獻
第7 章深度學習
7.1 概述
7.2 自編碼器
7.2.1 正向傳播與反向傳播
7.2.2 自編碼器架構(gòu)
7.3 卷積神經(jīng)網(wǎng)絡
7.3.1 卷積神經(jīng)網(wǎng)絡基礎
7.3.2 經(jīng)典卷積神經(jīng)網(wǎng)絡模型
7.3.3 改進的卷積神經(jīng)網(wǎng)絡
7.4 遞歸神經(jīng)網(wǎng)絡
7.4.1 傳統(tǒng)遞歸神經(jīng)網(wǎng)絡
7.4.2 基于門控單元的遞歸神經(jīng)網(wǎng)絡
7.4.3 時空遞歸神經(jīng)網(wǎng)絡
7.4.4 遞歸形狀回歸網(wǎng)絡
7.4.5 聯(lián)合任務遞歸學習
7.4.6 輕量級遞歸神經(jīng)網(wǎng)絡
7.5 生成對抗網(wǎng)絡
7.5.1 傳統(tǒng)生成對抗網(wǎng)絡
7.5.2 生成對抗網(wǎng)絡的變種
7.5.3 ST條件生成對抗網(wǎng)絡
7.6 圖卷積神經(jīng)網(wǎng)絡
7.6.1 圖卷積學習
7.6.2 張量圖卷積學習
7.7 應用
7.7.1 目標檢測
7.7.2 目標跟蹤
7.7.3 場景理解
7.7.4 圖像重建
7.7.5 社交網(wǎng)絡
參考文獻