前言


Fundamentals of Pattern Recognition and Machine Learning

“只有受過教育的人才是自由的。”
——古希臘哲學家愛比克泰德（Epictetus）
模式識別和機器學習領域的發(fā)展有著悠久而成就卓著的歷史。單就教材而言，已有很多該領域的優(yōu)秀教材，那么我們需要回答為什么仍需要一本全新的教材。本書致力于通過簡明的介紹，將理論和實踐相結合并且讓其更適用于課堂教學。本書的重點是基于Python編程語言對近期的新方法和應用實例予以展示。本書不會試圖對模式識別和機器學習進行百科全書式的面面俱到的介紹，因為該領域發(fā)展很快，這種介紹方式是不可能實現(xiàn)的。一本簡明的教科書必須有嚴格的選材要求，本書所選的主題在一定程度上不可避免會取決于我自己的經驗和喜好，但我相信它能夠使讀者精通這一領域所必須掌握的核心知識。本書只要求讀者具備本科水平的微積分和概率論知識，同時附錄中包含了研究生水平的概率論知識的簡要回顧以及書中所需的其他數(shù)學方法。
本書是從我在得克薩斯農工大學講授了十多年的模式識別、生物信息學和材料信息學研究生課程的講稿發(fā)展而來的。本書旨在通過恰當?shù)倪x題（詳細見后），在模式識別或機器學習方面，滿足一個或兩個學期的具有高年級本科層次或研究生層次的初級課程的教學需求。雖然本書是為課堂教學設計的，但它也可有效地用于自學。
本書并沒有對理論知識進行回避，因為對理論知識的理解對于模式識別和機器學習的教學過程尤為重要。模式識別和機器學習領域充滿經典的定理，如Cover�睭art定理、Stone定理及其推論、Vapnik�睠hervonenkis定理等。然而，本書試圖在理論和實踐之間獲取平衡。特別是，用貫穿全書的生物信息學和材料信息學的應用數(shù)據(jù)集實例來解釋理論。這些數(shù)據(jù)集也被用在章末的Python作業(yè)中。書中所有的插圖都是使用Python腳本生成的，可以從本書的網站下載。鼓勵讀者用這些腳本做試驗并在Python作業(yè)中使用它們。本書的網站還包含來自生物信息學和材料信息學應用的數(shù)據(jù)集，繪圖和Python作業(yè)中會用到它們。根據(jù)我在課堂上的經驗，一旦學生完成了Python作業(yè)并使用了來自真實應用的數(shù)據(jù)，他們對主題的理解就會顯著提升。
本書的組織結構如下。第1章是對主題動機的概括性介紹。第2～8章涉及分類問題。第2章和第3章是分類的基礎章節(jié)，主要涉及最優(yōu)化的和常規(guī)的基于實例的分類問題。第4～6章檢驗了三類主要的分類規(guī)則：參數(shù)的、非參數(shù)的和函數(shù)逼近的。第7章和第8章涉及分類的誤差估計和模型選擇。第9章不僅對分類問題的降維方法進行研究，也包括關于無監(jiān)督方法的學習材料。最后，第10章和第11章討論了聚類和回歸問題。教師或讀者可以靈活地從這些章節(jié)中選擇主題，并以不同的順序使用它們。特別是，部分章節(jié)末尾的“其他主題”部分涵蓋了雜項主題內容，在教學中可以包括也可以不包括這些主題，不會影響課程的連續(xù)性。此外，為了方便教師和讀者，書中用星號標記了專業(yè)性更強的章節(jié)，這些部分可以在初讀時跳過。
大多數(shù)章節(jié)末尾的練習部分都包含各種難度的問題，練習中的一些是本章所討論概念的直接應用，而另一些則介紹了新的概念和理論的擴展，其中有些可能值得在課堂上討論。大多數(shù)章節(jié)末尾的Python作業(yè)要求讀者使用Python語言和scikit�瞝earn工具包實現(xiàn)本章中討論的方法，并將它們應用于生物信息學和材料信息學應用中的合成和真實數(shù)據(jù)集。
根據(jù)我的教學經驗，建議在課堂上按照如下方式使用本書：
1�币粋�學期的課程重點可集中在分類問題上，講授內容包括第2～9章，包括大多數(shù)標有星號的小節(jié)和其他主題部分。
2�泵嫦驊�用的一學期課程，授課內容可跳過第2～8章中的大部分或所有標有星號的小節(jié)和其他主題部分，涵蓋第9～11章的內容，同時重點講解各章的Python作業(yè)。
3�焙�蓋整本書的兩個學期課程的教學內容包括大部分或所有標有星號的小節(jié)以及其他主題部分。
本書的出版要歸功于幾位前輩。首先，Duda和Hart的經典教材（1973年首次出版，2001年的第2版加入了Stork作為共同作者）幾十年來一直是該領域的標準參考材料。此外，Devroye，Gy�塺fi and Lugosi［1996］�…”緯�以“作者［年份］”的形式來指代該作者于該年份發(fā)表或出版的論文或著作。 現(xiàn)在仍然是非參數(shù)模式識別的黃金標準。其他對本書存在影響的資料來源包括McLachlan［1992］、Bishop［2006］、Webb［2002］和James et al�保�2013］。
我要感謝所有現(xiàn)在和過去的合作者，他們幫助我塑造對模式識別和機器學習領域的理解架構。同樣，我也要感謝所有的學生，無論是由我指導過他們的研究，還是參加過我講座的學生，他們都對本書的內容提出了自己的觀點和修改意見。我要感謝Ed Dougherty、Louise Strong、John Goutsias、Ascendino Dias e Silva、Roberto Lotufo、Junior Barrera和 Severino Toscano，我從他們身上受益匪淺。感謝Ed Dougherty、Don Geman、Al Hero和 Gábor Lugosi，在編寫本書的時候他們提供了對本書的評論和對我的鼓勵。我很感謝Caio Davi，他為本書繪制了幾幅插圖。非常感謝當我在紐約市處于困難時期時由Paul Drougas在施普林格提供的專家援助。最后，感謝我的妻子Flávia以及我的孩子Maria Clara和Ulisses，感謝他們在本書的寫作過程中對我充滿耐心，并提供了一如既往的支持。
Ulisses Braga�睳eto
得克薩斯學院站
2020年7月