一轉(zhuǎn)眼十年又過去了，十年前在出版本書第3版時(shí)，我曾經(jīng)感慨信息時(shí)代的到來，而從那以后的這十年，我們則深刻感受到了智能時(shí)代的來臨。清華大學(xué)出版社的老師告訴我，《模式識(shí)別》第2版和第3版到目前已經(jīng)共印刷了38次，總發(fā)行量超過10萬冊(cè)。在我平時(shí)的工作中，時(shí)常收到采用本教材授課的高校教師的問題和建議，也收到一些讀者反饋。我要特別感謝這些老師和讀者對(duì)本教材長(zhǎng)期的支持和關(guān)愛，也很高興看到這本教材為這個(gè)蓬勃發(fā)展的學(xué)科貢獻(xiàn)了一份力量。
21世紀(jì)的前20年，見證了模式識(shí)別、機(jī)器學(xué)習(xí)和人工智能學(xué)科的飛速發(fā)展。這一點(diǎn)從本教材各個(gè)版本使用情況的演化也可見一斑。從邊肇祺先生主持編寫的《模式識(shí)別》第1版到邊肇祺、張學(xué)工共同編寫的《模式識(shí)別》第2版，當(dāng)時(shí)的讀者主要是直接從事本領(lǐng)域研究的教師、研究生和科技工作者，而《模式識(shí)別》第3版的讀者已經(jīng)擴(kuò)展到各個(gè)專業(yè)對(duì)本領(lǐng)域感興趣的教師、研究生、本科生和科技工作者。模式識(shí)別類的課程開始是少數(shù)院校在自動(dòng)化系、計(jì)算機(jī)系等開設(shè)的研究生專業(yè)課，現(xiàn)在已經(jīng)成為很多院系的研究生專業(yè)基礎(chǔ)課，很多學(xué)校和院系開始把模式識(shí)別和機(jī)器學(xué)習(xí)類課程作為本科生專業(yè)必修課和全校性選修課。在我自己這些年的本科生課堂上，選課同學(xué)不但來自計(jì)算機(jī)、自動(dòng)化、電子、軟件等信息類專業(yè)，還有大量同學(xué)來自數(shù)學(xué)、物理、生物、醫(yī)學(xué)以及各種工程類、機(jī)械類、管理類專業(yè)，也有同學(xué)來自建筑學(xué)院、美術(shù)學(xué)院和心理學(xué)、社會(huì)學(xué)、語(yǔ)言學(xué)等專業(yè)。這一方面說明了各專業(yè)同學(xué)數(shù)理基礎(chǔ)和計(jì)算機(jī)基礎(chǔ)的普遍提高，另一方面更從一個(gè)側(cè)面映射出了這一學(xué)科受歡迎的程度。
從學(xué)科本身看，近十年的發(fā)展當(dāng)屬深度學(xué)習(xí)和機(jī)器學(xué)習(xí)與人工智能結(jié)合產(chǎn)生出的大量成功應(yīng)用。在十年前編寫第3版教材時(shí)剛剛顯露頭角的深度神經(jīng)網(wǎng)絡(luò)和在較小范圍內(nèi)研究的概率圖模型等，已經(jīng)成為受關(guān)注的熱點(diǎn)。同時(shí)，大量機(jī)器學(xué)習(xí)軟件平臺(tái)的出現(xiàn)和發(fā)展，也改變了人們以往學(xué)習(xí)和利用模式識(shí)別與機(jī)器學(xué)習(xí)方法的方式。這些日新月異的發(fā)展，使我強(qiáng)烈感受到這本教材的內(nèi)容需要很多更新和補(bǔ)充，但因?yàn)槠渌�各種工作太繁忙，早就答應(yīng)出版社的教材編寫計(jì)劃幾次被拖延。2019年底，在與汪小我老師共同準(zhǔn)備模式識(shí)別與機(jī)器學(xué)習(xí)課程時(shí)，我邀請(qǐng)汪老師與我共同進(jìn)行這本書的寫作。
2020年初，突如其來的新冠肺炎疫情改變了所有人的生活和工作，也促使每個(gè)人更清楚地認(rèn)識(shí)自己對(duì)社會(huì)和歷史的責(zé)任。于是，我和汪老師商量決定，與疫情賽跑，在春季學(xué)期的遠(yuǎn)程授課中就采用新版教材的內(nèi)容，迫使自己在春季學(xué)期授課的同時(shí)完成本書新版的寫作，力爭(zhēng)在年內(nèi)出版。2020年7月19日，我們完成了新版的全部寫作，與第3版相比，增加了5章新內(nèi)容，對(duì)原有內(nèi)容也進(jìn)行了必要的調(diào)整和補(bǔ)充。
對(duì)于業(yè)內(nèi)學(xué)者來說，模式識(shí)別與機(jī)器學(xué)習(xí)是非常接近和高度相關(guān)的概念，但對(duì)于尚未學(xué)習(xí)這些內(nèi)容的讀者，可能會(huì)對(duì)這兩個(gè)名詞有不同的認(rèn)識(shí)。為了更全面地反映本書的內(nèi)容范圍，我們?cè)黾恿烁睒?biāo)題模式識(shí)別與機(jī)器學(xué)習(xí)，也據(jù)此對(duì)很多內(nèi)容進(jìn)行了補(bǔ)充和調(diào)整。近年來，很多人尤其是產(chǎn)業(yè)界和投資界把模式識(shí)別和機(jī)器學(xué)習(xí)都放在人工智能的大框架下，因此，我們也在新版第15章專門對(duì)模式識(shí)別機(jī)器學(xué)習(xí)人工智能三個(gè)概念的關(guān)系、演化和背后的學(xué)術(shù)思想進(jìn)行了討論。
新版內(nèi)容的編寫得到了很多老師和同學(xué)的幫助，尤其是2020年春季學(xué)期清華大學(xué)自動(dòng)化系本科生課程模式識(shí)別與機(jī)器學(xué)習(xí)的助教研究生王昊晨、顏錢明、張威、喬榕，和2019年秋季學(xué)期清華大學(xué)自動(dòng)化系研究生英文課程機(jī)器學(xué)習(xí)的助教研究生花奎、陳斯杰、馬天行、孟秋辰、李嘉騏。在新版的具體內(nèi)容編寫中，第4章隱馬爾可夫模型和貝葉斯網(wǎng)絡(luò)、第10章10.9節(jié)的t�睸NE降維可視化方法、第11章11.8節(jié)的一致聚類方法和第12章12.8.2節(jié)的實(shí)例主要由汪小我負(fù)責(zé)起草，其中顏錢明幫助計(jì)算了10.9節(jié)和11.8節(jié)的例子； 張威起草了第14章機(jī)器學(xué)習(xí)軟件平臺(tái)的介紹和計(jì)算機(jī)代碼示例； 其他新增章節(jié)（第7章、第12章、第15章）和其他章節(jié)調(diào)整內(nèi)容均由張學(xué)工負(fù)責(zé)起草，其中王昊晨幫助起草了12.7節(jié)生成模型的初稿，第7章采用了《模式識(shí)別》第2版中的部分原稿，第12章中采納了胡越、羅東陽(yáng)同學(xué)之前準(zhǔn)備的部分素材。張學(xué)工負(fù)責(zé)了新版的統(tǒng)稿。第12章深度學(xué)習(xí)的前半部分草稿得到了清華大學(xué)自動(dòng)化系黃高老師的很多建議和指正。馬天行、李嘉騏、陳斯杰、孟秋辰、王昊晨、顏錢明、張威、喬榕、張嘉惠等同學(xué)幫助對(duì)部分書稿進(jìn)行了文字和公式檢查。廈門大學(xué)王穎教授對(duì)部分公式錯(cuò)誤給出了更正。本次主要新增章節(jié)草稿在2020年春季清華大學(xué)自動(dòng)化系本科生課程模式識(shí)別與機(jī)器學(xué)習(xí)中進(jìn)行了試用。本書的編寫也得到了清華大學(xué)自動(dòng)化系古槿、閭海榮、江瑞等老師的幫助，并得到了福州數(shù)據(jù)技術(shù)研究院的大力幫助和支持。
本教材編寫得到了清華大學(xué)歷年來多個(gè)教學(xué)改革和學(xué)科建設(shè)項(xiàng)目的支持，教材中涉及的很多科學(xué)研究?jī)?nèi)容，得到了國(guó)家自然科學(xué)基金創(chuàng)新研究群體項(xiàng)目、杰出青年基金項(xiàng)目和優(yōu)秀青年基金項(xiàng)目等的支持。

張學(xué)工

2020年7月20日

前言

前言

第3版前言

從本書第2版出版到現(xiàn)在已經(jīng)又是十年了。在這十年里，我們真切地感受到了信息時(shí)代的到來。對(duì)信息的處理和分析，已經(jīng)不僅僅是信息科學(xué)家所關(guān)心的問題，也不僅僅是信息技術(shù)產(chǎn)業(yè)所關(guān)心的問題，而是為很多學(xué)科和很多領(lǐng)域共同關(guān)心的問題。作為信息處理與分析的重要方面，模式識(shí)別也開始從一個(gè)少數(shù)人關(guān)心的專業(yè)，變成一個(gè)在工程、經(jīng)濟(jì)、金融、醫(yī)學(xué)、生物學(xué)、社會(huì)學(xué)等各個(gè)領(lǐng)域都受到關(guān)注的學(xué)科。
模式識(shí)別學(xué)科的發(fā)展，可以從筆者所在的清華大學(xué)自動(dòng)化系在模式識(shí)別專業(yè)教學(xué)和教材上的沿革窺見一斑。早在1978年，在已故中科院學(xué)部委員常迵教授的領(lǐng)導(dǎo)下，自動(dòng)化系成立了信號(hào)處理與模式識(shí)別教研組，后更名為信息處理研究所，1981年獲準(zhǔn)成立模式識(shí)別與智能系統(tǒng)學(xué)科（當(dāng)時(shí)稱模式識(shí)別與智能控制）的個(gè)碩士點(diǎn)、博士點(diǎn)。從那時(shí)起，邊肇祺等教授就開始為研究生開設(shè)模式識(shí)別課程，后逐漸包括進(jìn)少部分五年級(jí)本科生（當(dāng)時(shí)清華大學(xué)本科學(xué)制為五年）。20世紀(jì)80年代中期，邊肇祺、閻平凡、楊存榮、高林、劉松盛和湯之永等老師組成了教材編寫小組，開始編寫模式識(shí)別教材，這就是1988年出版的《模式識(shí)別》。該教材的出版，為我國(guó)模式識(shí)別學(xué)科的發(fā)展做出了歷史性的貢獻(xiàn)，被很多高校和科研院所作為教材或參考書。十年以后，模式識(shí)別學(xué)科的內(nèi)容有了很多更新和發(fā)展，我們成立了由邊肇祺、閻平凡、趙南元、張學(xué)工和張長(zhǎng)水組成的改寫小組，由筆者與邊肇祺老師共同組織編寫了本書的第2版，2000年正式出版。此時(shí)的模式識(shí)別課程，已經(jīng)由初只有十幾位研究生參加的小課，發(fā)展為由上百名研究生和高年級(jí)本科生參加的大課。第2版教材也得到了國(guó)內(nèi)同行的歡迎，9年內(nèi)已經(jīng)重印15次。
隨著模式識(shí)別學(xué)科的日益發(fā)展，我們很快認(rèn)識(shí)到，對(duì)模式識(shí)別課程的需求已經(jīng)超出了本專業(yè)研究生的范圍。于是我們將模式識(shí)別課程分為兩門： 面向研究生的模式識(shí)別和面向本科生的模式識(shí)別基礎(chǔ)。到今天，本科生模式識(shí)別基礎(chǔ)每年的選課人數(shù)也已達(dá)到100~150人，除了來自本系的學(xué)生，每年還有多位來自其他院系的學(xué)生選課。2007年，該課程榮幸地被評(píng)為國(guó)家精品課程。
在近幾年的教學(xué)實(shí)踐中，我們體會(huì)到，原來的教材有些地方不太適應(yīng)大范圍教學(xué)的需要，而且近十年來模式識(shí)別自身以及它在很多領(lǐng)域中的應(yīng)用又有了很多新發(fā)展。因此，筆者從兩年前開始著手編寫新版教材。新版教材的出發(fā)點(diǎn)是： 一方面，結(jié)合當(dāng)前的發(fā)展，精煉傳統(tǒng)內(nèi)容，充實(shí)新內(nèi)容，進(jìn)一步增強(qiáng)實(shí)用性，接觸學(xué)科前沿； 另一方面，在教材的深度和廣度上兼顧廣大本科生學(xué)習(xí)的特點(diǎn)和本專業(yè)研究生的需求，力求達(dá)到使非本專業(yè)學(xué)生通過本教材能學(xué)到足夠系統(tǒng)的基本知識(shí)，而本專業(yè)學(xué)生又能以本教材作為其專業(yè)研究的重要起點(diǎn)。
編寫新版教材所需要的時(shí)間超出了我的預(yù)想，很高興她今天終于能和讀者見面了。在此要感謝在本書編寫過程中給了我很多幫助的同事和同學(xué)們，尤其是： 美國(guó)南加州大學(xué)的Jasmine X. Zhou教授在2007年給我提供了短期訪問機(jī)會(huì)，使我能夠有一段相對(duì)完整的時(shí)間集中開始本書的寫作； 蔣博同學(xué)通讀了本書三分之二的初稿并做了多處補(bǔ)充； 現(xiàn)在已經(jīng)分別是電子科技大學(xué)和北京大學(xué)教師的凡時(shí)財(cái)、李婷婷同學(xué)幫助準(zhǔn)備了本書部分素材。我還要感謝清華大學(xué)出版社王一玲編輯在本書編寫過程中的一貫支持。當(dāng)然，重要的，我要感謝參加本書第1版和第2版編寫的所有老師，這不但是因?yàn)樵谶@一版中仍使用了前兩版的一些內(nèi)容，更是因?yàn)�，是這些老師們把我?guī)нM(jìn)了模式識(shí)別的大門，使我受益至今。
由于時(shí)間倉(cāng)促和個(gè)人水平所限，教材中難免有錯(cuò)誤或不足之處，敬請(qǐng)廣大同行和讀者批評(píng)指正，以便在再版時(shí)補(bǔ)充和修改。
在本書終完稿的時(shí)候，我十歲的女兒以極大的興致看完了我講模式識(shí)別基礎(chǔ)課的錄像，并說將來長(zhǎng)大了要聽我講課。謹(jǐn)以此書獻(xiàn)給我的妻子和女兒。

張學(xué)工

2009年11月29日