前言
在大數(shù)據(jù)時(shí)代，面對(duì)規(guī)模龐大的數(shù)據(jù)和紛繁復(fù)雜的數(shù)據(jù)類型，用于分析這些數(shù)據(jù)的統(tǒng)計(jì)模型也越來越復(fù)雜，模型估計(jì)的難度日益加大，因此統(tǒng)計(jì)計(jì)算在統(tǒng)計(jì)研究和應(yīng)用領(lǐng)域的重要性不斷提升.正如北京大學(xué)張志華教授所說：“計(jì)算在統(tǒng)計(jì)中已經(jīng)變得越來越重要，傳統(tǒng)的多元統(tǒng)計(jì)分析以矩陣為計(jì)算工具，而現(xiàn)代高維統(tǒng)計(jì)則以優(yōu)化算法為計(jì)算工具.”
作者在中南大學(xué)數(shù)學(xué)與統(tǒng)計(jì)學(xué)院給高年級(jí)本科生和低年級(jí)研究生開設(shè)“統(tǒng)計(jì)計(jì)算”這門課時(shí)，發(fā)現(xiàn)學(xué)生們已經(jīng)具備了一定的編程基礎(chǔ)和統(tǒng)計(jì)軟件的使用經(jīng)驗(yàn)，他們希望在這門課中更深入地了解統(tǒng)計(jì)計(jì)算方法的基本原理，學(xué)習(xí)更高級(jí)、更前沿的算法及相關(guān)收斂性理論，這些更有助于他們做出原創(chuàng)性的科研工作或解決實(shí)際中遇到的統(tǒng)計(jì)計(jì)算問題，也促使作者產(chǎn)生了撰寫本書的想法.
本書的內(nèi)容分成兩部分：蒙特卡羅方法和統(tǒng)計(jì)計(jì)算的常用優(yōu)化算法.前者是貝葉斯模型估計(jì)的主要方法，后者是現(xiàn)代高維統(tǒng)計(jì)的計(jì)算工具.本書的前三章分別介紹了一元隨機(jī)變量的抽樣、多元隨機(jī)向量的抽樣和隨機(jī)過程的抽樣，它們構(gòu)成了蒙特卡羅方法的基石；第4章和第5章介紹了Gibbs抽樣、馬爾可夫鏈蒙特卡羅（MCMC）方法、哈密頓蒙特卡羅方法（HMC）和序貫蒙特卡羅方法（SMC）；第6~12章每一章介紹一種優(yōu)化方法及其在統(tǒng)計(jì)或機(jī)器學(xué)習(xí)中的應(yīng)用，包括估計(jì)高斯混合模型的EM算法、估計(jì)Logistic回歸模型的Newton算法、稀疏學(xué)習(xí)常用的坐標(biāo)下降法、AdaBoost算法、SVM與凸優(yōu)化理論等；第13章以對(duì)深度學(xué)習(xí)的入門介紹作為全書的結(jié)尾.
與國內(nèi)外已出版的相關(guān)教材相比，本書在統(tǒng)計(jì)計(jì)算傳統(tǒng)核心內(nèi)容的基礎(chǔ)上增加了一些新的較流行的計(jì)算方法.在前半部分蒙特卡羅抽樣方法中加入了Dirichlet分布抽樣、隨機(jī)矩陣的抽樣方法、隨機(jī)圖的抽樣方法、Poisson點(diǎn)過程抽樣、Dirichlet過程抽樣等內(nèi)容.在有關(guān)MCMC方法的介紹中，不僅補(bǔ)充了馬爾可夫鏈的一些基本概念和收斂性理論，還增加了對(duì)較前沿的HMC方法的介紹并配以詳細(xì)的應(yīng)用實(shí)例說明.在后半部分對(duì)優(yōu)化算法的介紹中，本書增加了比EM算法應(yīng)用范圍更廣的MM算法、稀疏學(xué)習(xí)中流行的坐標(biāo)下降法及ADMM算法，此外還加入了對(duì)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)前沿算法的介紹.
本書在介紹每種方法時(shí)，不僅給出了基本的計(jì)算步驟，還對(duì)相關(guān)收斂性理論進(jìn)行了介紹，給出了必要的推導(dǎo)證明，使讀者能深入地領(lǐng)會(huì)方法的本質(zhì)以及更準(zhǔn)確地使用這些方法.本書還為每種方法配備了一個(gè)或多個(gè)具體的統(tǒng)計(jì)模型應(yīng)用實(shí)例，很多應(yīng)用實(shí)例來自近幾年較前沿的科研文章，有些實(shí)例配有詳細(xì)的R代碼，使讀者掌握使用這些方法解決實(shí)際統(tǒng)計(jì)計(jì)算問題的全過程.本書為一些章節(jié)配備了習(xí)題，這些習(xí)題大多需要讀者進(jìn)行編程計(jì)算，很多題目可以在書中實(shí)例的R代碼基礎(chǔ)上進(jìn)行修改和擴(kuò)展完成.此外，本書在對(duì)知識(shí)的介紹中配備了大量圖片進(jìn)行說明，有些還附有視頻鏈接，幫助讀者理解.
本書是作者對(duì)自己在博士期間所讀的多本教材、課堂筆記、閱讀的大量科研論文的一個(gè)綜合整理，從中選取了對(duì)當(dāng)前數(shù)據(jù)分析和科研最有幫助的統(tǒng)計(jì)計(jì)算方法.本書的寫作深受很多統(tǒng)計(jì)學(xué)專家學(xué)者所著的教材和講義的影響，包括斯坦福大學(xué)Art Owen教授所著的有關(guān)蒙特卡羅方法的教材、杜克大學(xué)David Dunson教授的貝葉斯統(tǒng)計(jì)課程講義、Peter Hoff教授的多元統(tǒng)計(jì)分析課程講義、Mike West教授的概率統(tǒng)計(jì)模型課程講義和Cynthia Rudin教授的機(jī)器學(xué)習(xí)課程講義.作者也受益于在杜克大學(xué)讀博士期間與這些教授在學(xué)術(shù)科研上的交流和討論.本書初稿完成后，在教學(xué)過程中收到了很多學(xué)生的寶貴意見，對(duì)本書質(zhì)量的提高有很大幫助，在此向單順衡、張轉(zhuǎn)、申貞遠(yuǎn)、鄧牧野、曹楷、邵慧、陳宇昕、王安瀾、陳建國、徐素、杜露露、柯寶芳、萬昭曼、于穎、甄夢(mèng)楠、鄂繼躍表示衷心感謝.在本書出版過程中，機(jī)械工業(yè)出版社的責(zé)任編輯湯嘉給予了很多幫助，在此特向他致謝.
由于作者水平所限，書中難免有錯(cuò)誤和不當(dāng)之處，歡迎讀者批評(píng)指正，來函請(qǐng)發(fā)至wanglu_stat@csu.edu.cn.