第一章緒論1
1.1自然智能與機器智能1
1.1.1自然智能1
1.1.2機器智能3
1.2機器獲取知識的途徑：機器學習5
1.2.1機器學習的概念5
1.2.2基本機器學習模型6
1.3機器認知智能的實現(xiàn)途徑：神經(jīng)網(wǎng)絡10
1.3.1生物神經(jīng)網(wǎng)絡10
1.3.2人工神經(jīng)網(wǎng)絡與神經(jīng)元模型12
1.4深度學習的前沿發(fā)展及其應用15
1.4.1深度學習15
1.4.2大語言模型16
1.4.3ChatGPT：智能對話機器人18
1.4.4OpenAI Codex：代碼生成與輔助編程19
1.5深度學習與智能機器人21
1.5.1智能機器人的定義與目標21
1.5.2智能機器人與工業(yè)機器人的區(qū)別22
1.5.3智能機器人的環(huán)境多模態(tài)感知23
1.6本章小結(jié)27

第二章機器學習的數(shù)學基礎28
2.1標量、向量、矩陣和張量28
2.2矩陣和向量相乘32
2.2.1矩陣和向量相乘的規(guī)則32
2.2.2矩陣和向量相乘的性質(zhì)32
2.2.3矩陣乘法的計算方法33
2.2.4矩陣乘法在神經(jīng)網(wǎng)絡中的應用33
2.3導數(shù)34
2.3.1一般運算法則35
2.3.2鏈式求導法則36
2.4度量標準39
2.4.1誤差39
2.4.2距離39
2.4.3相似度40
2.5概率分布43
2.5.1二項分布44
2.5.2正態(tài)分布45
2.6本章小結(jié)46

第三章機器學習的構(gòu)成及理論基礎48
3.1機器學習基礎概念48
3.1.1人類學習與機器學習48
3.1.2機器學習的研究內(nèi)容49
3.1.3機器學習系統(tǒng)的基本構(gòu)成50
3.2機器學習的分類52
3.2.1監(jiān)督學習53
3.2.2半監(jiān)督學習54
3.2.3無監(jiān)督學習54
3.2.4強化學習56
3.3機器學習的重要參數(shù)56
3.3.1學習率56
3.3.2動量系數(shù)57
3.3.3偏置項58
3.4擬合問題59
3.4.1過擬合問題59
3.4.2欠擬合問題60
3.5交叉驗證60
3.5.1數(shù)據(jù)類型與選擇方法61
3.5.2留一交叉驗證62
3.5.3K折交叉驗證62
3.6回歸分析63
3.6.1線性回歸63
3.6.2邏輯回歸66
3.7評價指標69
3.8本章小結(jié)71

第四章神經(jīng)網(wǎng)絡構(gòu)成及理論基礎72
4.1神經(jīng)網(wǎng)絡概述72
4.1.1深度學習和神經(jīng)網(wǎng)絡間的關系74
4.1.2神經(jīng)網(wǎng)絡的深度和寬度74
4.2常見的神經(jīng)網(wǎng)絡類型75
4.2.1全連接神經(jīng)網(wǎng)絡75
4.2.2卷積神經(jīng)網(wǎng)絡76
4.2.3循環(huán)神經(jīng)網(wǎng)絡77
4.3神經(jīng)網(wǎng)絡設計的核心問題78
4.3.1定義神經(jīng)網(wǎng)絡結(jié)構(gòu)79
4.3.2選擇損失函數(shù)79
4.3.3選擇激活函數(shù)79
4.4神經(jīng)網(wǎng)絡最優(yōu)化過程82
4.4.1梯度下降算法82
4.4.2正向傳播算法86
4.4.3反向傳播算法87
4.4.4BP神經(jīng)網(wǎng)絡88
4.5其他神經(jīng)網(wǎng)絡與深度學習91
4.5.1生成對抗網(wǎng)絡91
4.5.2深度信念網(wǎng)絡93
4.5.3遷移學習95
4.6PyTorch和PaddlePaddle簡介97
4.6.1PyTorch98
4.6.2PaddlePaddle103
4.7本章小結(jié)105

第五章卷積神經(jīng)網(wǎng)絡107
5.1卷積神經(jīng)網(wǎng)絡概述107
5.1.1發(fā)展歷程和實際應用107
5.1.2基本組成111
5.2卷積神經(jīng)網(wǎng)絡的特征116
5.2.1連接稀疏性116
5.2.2參數(shù)共享機制117
5.3卷積神經(jīng)網(wǎng)絡中的反向傳播算法118
5.4其他卷積方式119
5.4.1轉(zhuǎn)置卷積119
5.4.2空洞卷積122
5.4.3分組卷積和深度分離卷積122
5.5卷積神經(jīng)網(wǎng)絡的典型模型125
5.5.1LeNet-5125
5.5.2AlexNet126
5.5.3VGGNet127
5.5.4GoogLeNet137
5.5.5ResNet148
5.5.6MobileNet和ShuffleNet161
5.5.7MMDetection框架搭建并實現(xiàn)訓練與測試169
5.6本章小結(jié)179

第六章循環(huán)神經(jīng)網(wǎng)絡181
6.1循環(huán)神經(jīng)網(wǎng)絡概述181
6.1.1背景181
6.1.2概念182
6.1.3基本結(jié)構(gòu)182
6.2循環(huán)神經(jīng)網(wǎng)絡分類184
6.2.1單向循環(huán)神經(jīng)網(wǎng)絡184
6.2.2雙向循環(huán)神經(jīng)網(wǎng)絡185
6.2.3深度循環(huán)神經(jīng)網(wǎng)絡186
6.3模型訓練與優(yōu)化187
6.3.1隨時間反向傳播算法188
6.3.2實時循環(huán)學習算法188
6.4長短時記憶網(wǎng)絡190
6.4.1原理講解190
6.4.2代碼講解191
6.5遞歸神經(jīng)網(wǎng)絡200
6.5.1原理講解200
6.5.2代碼講解202
6.6門控循環(huán)單元網(wǎng)絡207
6.6.1原理講解207
6.6.2代碼208
6.7本章小結(jié)208

第七章注意力機制與外部記憶210
7.1認知神經(jīng)學中的注意力210
7.2注意力機制211
7.2.1注意力機制原理211
7.2.2注意力機制的變體212
7.3自注意力機制215
7.3.1自注意力機制原理215
7.3.2Transformer217
7.4人腦中的記憶219
7.5記憶增強神經(jīng)網(wǎng)絡221
7.5.1外部記憶221
7.5.2端到端記憶網(wǎng)絡222
7.5.3神經(jīng)圖靈機223
7.6計算機視覺中的注意力機制225
7.6.1計算機視覺中的注意力機制發(fā)展歷程225
7.6.2通道注意力機制227
7.6.3空間注意力機制229
7.6.4時間注意力機制232
7.6.5分支注意力機制234
7.6.6通道和空間注意力機制236
7.6.7時空注意力機制239
7.6.8注意力模塊添加的案例介紹242
7.7本章小結(jié)256

第八章深度學習調(diào)優(yōu)方法258
8.1數(shù)據(jù)方面258
8.1.1數(shù)據(jù)清洗258
8.1.2數(shù)據(jù)增強263
8.1.3數(shù)據(jù)降噪266
8.1.4數(shù)據(jù)歸一化269
8.2模型結(jié)構(gòu)方面271
8.2.1注意力機制271
8.2.2特征金字塔271
8.2.3殘差結(jié)構(gòu)272
8.2.4確定網(wǎng)絡層數(shù)273
8.3模型參數(shù)方面275
8.3.1學習率調(diào)整275
8.3.2參數(shù)初始化277
8.3.3網(wǎng)絡正則化278
8.3.4預訓練模型的遷移學習282
8.4本章小結(jié)283

第九章智能機器人的視覺感知方法與視覺處理技術(shù)285
9.1經(jīng)典的視覺感知方案285
9.1.1視覺信息獲取285
9.1.2視覺顯著性檢測286
9.1.3光學系統(tǒng)的設計287
9.2視覺感知的傳統(tǒng)處理方法292
9.2.1圖像處理基礎292
9.2.2傳統(tǒng)的圖像特征提取293
9.2.3傳統(tǒng)的目標檢測和識別295
9.3基于機器學習的視覺感知方法296
9.3.1集成學習296
9.3.2局部二值模式299
9.3.3特征點匹配方法301
9.3.4方向梯度直方圖303
9.3.5支持向量機305
9.4基于深度學習的視覺感知方法307
9.4.1經(jīng)典的視覺感知網(wǎng)絡結(jié)構(gòu)307
9.4.2基于深度學習的目標感知307
9.5面向少量樣本學習的視覺感知方法309
9.5.1孿生神經(jīng)網(wǎng)絡309
9.5.2零樣本學習309
9.6本章小結(jié)311

第十章智能機器人的定位與導航規(guī)劃技術(shù)313
10.1地圖表示與構(gòu)建313
10.1.1地圖表示313
10.1.2地圖構(gòu)建317
10.2移動機器人定位319
10.2.1傳感器技術(shù)319
10.2.2定位方法320
10.3導航規(guī)劃321
10.3.1導航技術(shù)322
10.3.2規(guī)劃技術(shù)324
10.4機器人運動控制327
10.4.1PID控制327
10.4.2模型預測控制328
10.4.3軌跡追蹤329
10.5多AGV任務調(diào)度及路徑規(guī)劃技術(shù)329
10.5.1AGV調(diào)度系統(tǒng)任務描述330
10.5.2AGV任務調(diào)度功能331
10.5.3AGV的路徑規(guī)劃算法332
10.5.4多AGV的沖突和避障算法335
10.6本章小結(jié)336

第十一章基于深度學習的表面缺陷檢測技術(shù)337
11.1表面缺陷檢測技術(shù)研究337
11.1.1研究背景與意義337
11.1.2國內(nèi)外研究現(xiàn)狀338
11.2基于機器視覺的表面缺陷檢測技術(shù)342
11.2.1機器視覺中的圖像處理技術(shù)342
11.2.2基于機器視覺的表面缺陷檢測過程345
11.2.3基于深度學習的表面缺陷檢測技術(shù)348
11.3具體案例：液晶面板電極缺陷檢測技術(shù)352
11.3.1液晶面板電極缺陷353
11.3.2基于深度學習的液晶面板電極缺陷檢測方法356
11.3.3實驗結(jié)果和性能評估366
11.4本章小結(jié)372

第十二章基于深度學習的人機協(xié)作動作識別373
12.1人機協(xié)作動作識別技術(shù)研究373
12.1.1研究背景與意義373
12.1.2國內(nèi)外研究現(xiàn)狀374
12.1.3動作識別模型375
12.2人機協(xié)作應用376
12.2.1動作識別技術(shù)在人機協(xié)作中的應用376
12.2.2動作識別技術(shù)在虛擬現(xiàn)實領域中的應用377
12.3人機協(xié)作中的動作識別問題378
12.3.1動作識別問題定義378
12.3.2動作特征的提取379
12.3.3動作識別模型的構(gòu)建381
12.3.4人機協(xié)作場景中的動作識別383
12.4具體案例：基于深度學習的動作識別384
12.4.1動作視頻采集設備的選擇384
12.4.2環(huán)境設置和數(shù)據(jù)采集384
12.4.3數(shù)據(jù)處理386
12.4.4模型訓練386
12.4.5動作識別模型的性能評估389
12.5前沿拓展：基于肌電信號及腦機設備的動作識別390
12.6本章小結(jié)391

第十三章基于深度學習的機器人視覺抓取392
13.1研究背景及意義392
13.1.1機器人視覺抓取技術(shù)應用392
13.1.2機器人視覺抓取技術(shù)發(fā)展393
13.2深度學習在機器人視覺抓取中的應用及研究現(xiàn)狀395
13.2.1目標檢測定位396
13.2.2位姿估計397
13.2.3抓取點檢測397
13.3基于深度學習的機器人視覺抓取問題描述398
13.3.1機器人抓取任務分類398
13.3.2機器人抓取位姿表示399
13.3.3抓取檢測數(shù)據(jù)集400
13.4機器人視覺系統(tǒng)標定與坐標轉(zhuǎn)換403
13.4.1相機成像原理403
13.4.2相機標定406
13.4.3手眼標定406
13.5具體實例：抓取位姿檢測408
13.5.1判別式抓取檢測408
13.5.2生成式抓取檢測410
13.5.3從零開始訓練抓取檢測模型：GGCNN415
13.6基于深度學習的機器人視覺抓取技術(shù)挑戰(zhàn)和未來發(fā)展方向422
13.7本章小結(jié)423

參考文獻424