數據驅動的科學和工程:機器學習、動力系統與控制詳解
定 價:149 元
叢書名:國外工業(yè)控制與智能制造叢書
- 作者:[美]史蒂文·L.布倫頓(Steven L. Brunton),[美]J.內森·庫茨(J. Nathan Kutz)
- 出版時間:2021/8/1
- ISBN:9787111688617
- 出 版 社:機械工業(yè)出版社
- 中圖法分類:TP274
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
數據驅動的研究正在革新復雜系統的建模、預測和控制。本書面向高年級本科生和研究生,提供了一個綜合的視角,展示了如何將新興的方法,如數據科學、數據挖掘和機器學習技術,應用到工程和物理科學中。
本書講述的是數據驅動方法、應用優(yōu)化以及工程數學和數學物理等經典領域之間日益發(fā)展的交叉內容。多年來,我們一直在整理這方面的材料,用于教授工程和物理科學系的高年級本科生和低年級研究生。通常,這類學生都具有線性代數、微分方程和科學計算的數學基礎,工科學生則大多接觸過控制理論和偏微分方程。然而,工程和科學領域的大多數本科課程很少涉及數據方法或優(yōu)化方法。同樣,計算機科學和統計學方向的課程很少涉及動力系統和控制方面的內容。本書的目的就是為這類學生提供廣泛的應用數據科學入門知識。本書所討論的方法主要考慮了上述學科的關聯性、簡潔性和通用性,并嘗試提供一系列包括基本知識介紹和前沿技術在內的專題。
數據驅動發(fā)現正在徹底改變我們對復雜系統建模、預測和控制的方式。當今時代為緊迫的科學和工程問題并不適合用基于性原理的經驗模型或推導來解決。研究人員正逐漸轉向將數據驅動方法用于研究各種復雜系統,如湍流、大腦、氣候、流行病學、金融、機器人和自主體。這些系統通常是非線性的、動態(tài)的、時空多尺度的、高維的,并由可被刻畫和建模的主導基本模式來實現傳感、預測、估計和控制的終目標。借助現代數學方法以及前所未有的大量數據和計算資源,我們現在能夠處理以前無法解決的難題。這些新技術包括:適用于稀疏和噪聲下的隨機像素測量的魯棒圖像重構、基于機器學習的湍流控制、傳感器和執(zhí)行器布置、純粹從數據中發(fā)現可解釋的非線性動力系統、用于加速具有復雜多尺度物理特性的系統的研究和優(yōu)化的降階模型等。
推動現代數據科學發(fā)展的是海量且不斷增長的數據的可獲取性,這得益于低成本傳感器的顯著創(chuàng)新、計算能力數量級的提高,以及幾乎無限的數據存儲和傳輸能力。如此大量的數據為各個學科的工程師和科學家提供了進行數據驅動發(fā)現的新機會,這被稱為科學發(fā)現的第四范式[245]。第四范式是前三種范式(觀察實驗、解析推導和數值仿真)發(fā)展的自然結果。這些技術為數據驅動發(fā)現工作提供了一個變革性框架。這個科學發(fā)現的過程并不新鮮,而且確實模仿了科學革命的領軍人物約翰尼斯·開普勒(Johannes Kepler,15711630)和艾薩克·牛頓爵士(Sir Isaac Newton,16421727)的工作;诮涷灁祿寗雍徒馕龇椒,他們每個人都在發(fā)展天體力學的理論基礎方面發(fā)揮了關鍵作用。數據科學并沒有取代數學物理和工程學,反而在21世紀進一步發(fā)展了它們,這與其說是一場革命,不如說是一場復興。
數據科學本身并不新鮮,它于50多年前由約翰·圖基(John Tukey)提出,他曾設想開展一項從數據或數據分析中學習的科研工作[152]。從那時起,數據科學在很大程度上被兩種截然不同的數據文化觀念所主導[78]:以計算機科學家為主形成的機器學習領域,通常以預測質量和可擴展的快速算法為研究中心;統計學習領域,通常以統計系為中心,側重于可解釋模型的推理。兩種研究方式都取得了顯著成功,并為數據科學方法提供了數學和計算基礎。對于工程師和科學家來說,他們的目標是利用這些技術從觀測數據中推斷和計算模型(一般是非線性的),這些模型能夠正確地識別潛在的動力學,并定性和定量地將其推廣到相位、參數或應用空間的未測量部分。本書的目標是利用統計和機器學習來解決工程問題。
本書主題
本書中有許多重要的主題。首先,盡管測量和計算的精度得到了迅速提高,但許多復雜系統在數據中呈現主導低維模式。這種底層結構能夠實現高效的感知以及獲得用于建模和控制的緊湊表達形式。模式提取與第二個主題,即尋找簡化系統的坐標變換有關。實際上,數學物理長期以來是以坐標變換(例如,譜分解、傅里葉變換、廣義函數等)為中心的,盡管這些技術在很大程度上僅限于簡單的理想化幾何和線性動力學。衍生數據驅動轉換的能力帶來了新機遇,即可以將這些技術推廣到具有更復雜幾何和邊界條件的研究問題上。我們采用了動力系統和控制的觀點來貫穿全書,將數據驅動技術應用于對隨時間演化的系統進行建模和控制。也許涉及多的主題是數據驅動應用優(yōu)化,因為幾乎每個討論的主題都與優(yōu)化有關(例如,尋找低維模式、傳感器布置、機器學習優(yōu)化、控制等)。更為根本的是,書中大多數數據被處理成數組來進行分析,這樣,從20世紀60年代早期開始發(fā)展起來的數值線性代數工具,能夠為本書中用到的矩陣分解和求解策略提供許多數學基礎。
致謝
感謝許多優(yōu)秀的學生、合作者和同事提供寶貴的反饋、建議和支持。我們要特別感謝 Proctor,他在本書的創(chuàng)作過程中發(fā)揮了重要作用,同時幫助確定了這本書的框架和組織結構。我們還受益于與Bing Brunton、Igor Mezi?、Bernd Noack、Sam Taira的廣泛交流和深入探討。如果沒有這些與我們一同工作的優(yōu)秀同事和合作者,這項工作也不可能完成,這些研究成果都將在本書中有所體現。
在本書的編寫和相關課程教學中,我們收到了來自如下優(yōu)秀學生(包括博士后)的很多反饋和中肯意見:Travis Askham、Michael Au-Yeung、Zhe Bai、Ido Bright、Kathleen Champion、Emily Clark、Charles Delahunt、Daniel Dylewski、Ben
譯者序
前言
常見的優(yōu)化方法、方程、符號和縮略語
部分 降維和變換
第1章 奇異值分解1
1.1 概述1
1.2 矩陣近似4
1.3 數學性質和操作方法7
1.4 偽逆、小二乘和回歸11
1.5 主成分分析16
1.6 特征臉示例20
1.7 截斷和對齊24
1.8 隨機奇異值分解29
1.9 張量分解和N路數據數組33
第2章 傅里葉變換與小波變換37
2.1 傅里葉級數和傅里葉變換37
2.2 離散傅里葉變換和快速傅里葉變換45
2.3 偏微分方程的變換51
2.4 Gabor變換和頻譜圖56
2.5 小波和多分辨率分析61
2.6 二維變換和圖像處理63
第3章 稀疏性和壓縮感知68
3.1 稀疏性和壓縮68
3.2 壓縮感知71
3.3 壓縮感知示例74
3.4 壓縮幾何77
3.5 稀疏回歸80
3.6 稀疏表示83
3.7 魯棒主成分分析87
3.8 稀疏傳感器布置89
第二部分 機器學習和數據分析
第4章 回歸和模型選擇95
4.1 經典曲線擬合96
4.2 非線性回歸與梯度下降101
4.3 回歸與方程組Ax = b:超定和欠定系統106
4.4 優(yōu)化是回歸的基石111
4.5 帕累托邊界和簡約原則115
4.6 模型選擇:交叉驗證119
4.7 模型選擇:信息準則123
第5章 聚類和分類127
5.1 特征選擇和數據挖掘127
5.2 監(jiān)督學習和無監(jiān)督學習132
5.3 無監(jiān)督學習:k均值聚類135
5.4 無監(jiān)督層次聚類:樹狀圖139
5.5 混合模型和期望化算法142
5.6 監(jiān)督學習和線性判別145
5.7 支持向量機149
5.8 分類樹和隨機森林153
5.9 2008年數據挖掘十大算法158
第6章 神經網絡和深度學習161
6.1 神經網絡:單層網絡162
6.2 多層網絡和激活函數165
6.3 反向傳播算法170
6.4 隨機梯度下降算法172
6.5 深度卷積神經網絡175
6.6 神經網絡動力系統178
6.7 神經網絡多樣性182
第三部分 動力學與控制
第7章 數據驅動動力系統189
7.1 概述、動機和挑戰(zhàn)190
7.2 動態(tài)模態(tài)分解194
7.3 非線性動力學的稀疏辨識203
7.4 Koopman算子理論212
7.5 數據驅動的Koopman分析220
第8章 線性控制理論229
8.1 閉環(huán)反饋控制230
8.2 線性時不變系統233
8.3 能控性與能觀性238
8.4 全狀態(tài)控制:線性二次型調節(jié)器243
8.5 全狀態(tài)估計:Kalman濾波器246
8.6 基于傳感器的控制:線性二次型高斯249
8.7 案例研究:小車上的倒立擺250
8.8 魯棒控制和頻域技術257
第9章 平衡模型控制267
9.1 模型約簡與系統辨識267
9.2 平衡模型約簡268
9.3 系統辨識279
第10章 數據驅動控制288
10.1 非線性系統辨識的控制289
10.2 機器學習控制294
10.3 自適應極值搜索控制302
第四部分 降階模型
第11章 POD技術311
11.1 偏微分方程的POD311
11.2 基元:POD展開316
11.3 POD和孤立子動力學320
11.4 POD的連續(xù)公式324
11.5 對稱性的POD:旋轉和平移328
第12章 參數降階模型的插值335
12.1 缺失POD335
12.2 缺失POD的誤差和收斂性340
12.3 缺失測量:小化條件數343
12.4 缺失測量:化方差348
12.5 POD和離散經驗插值方法351
12.6 DEIM算法實現354
12.7 機器學習的ROM357
術語362
參考文獻367
索引395