第1章 計算機視覺及目標檢測 1
1.1 計算機視覺原理 1
1.1.1 人類視覺與計算機視覺比較 1
1.1.2 計算機視覺應(yīng)用展現(xiàn) 2
1.2 目標檢測概述 9
1.2.1 計算機視覺三大主要任務(wù) 9
1.2.2 目標檢測的應(yīng)用 11
1.2.3 目標檢測面臨的挑戰(zhàn) 12
1.2.4 目標檢測方法 13
第2章 計算機視覺數(shù)學、編程基礎(chǔ) 15
2.1 向量、矩陣和卷積 15
2.1.1 向量 15
2.1.2 矩陣 16
2.1.3 卷積 16
2.2 函數(shù)極值理論與非極大值抑制 18
2.2.1 函數(shù)極值理論 19
2.2.2 非極大值抑制 21
2.3 跨平臺計算機視覺和機器學習軟件庫OpenCV 基礎(chǔ) 24
2.3.1 OpenCV的歷史起源 24
2.3.2 安裝OpenCV 24
2.3.3 OpenCV圖像和視頻的讀/寫 24
2.3.4 OpenCV基本操作 28
2.3.5 OpenCV顏色空間轉(zhuǎn)換 29
2.3.6 OpenCV幾何變換 31
2.3.7 OpenCV圖像簡單閾值處理 34
2.3.8 OpenCV形態(tài)學轉(zhuǎn)換 40
2.3.9 OpenCV圖像梯度 43
2.4 PyTorch基礎(chǔ) 46
2.4.1 PyTorch簡介 46
2.4.2 PyTorch安裝 47
2.4.3 張量 47
2.4.4 基本代碼操作 49
2.4.5 PIL圖像格式轉(zhuǎn)換 51
2.4.6 PyTorch自動求導機制 52
2.4.7 PyTorch的神經(jīng)網(wǎng)絡(luò)nn包 55
第3章 OpenCV目標檢測實戰(zhàn) 60
3.1 Haar特征與積分圖像構(gòu)建算法 60
3.1.1 Haar特征 60
3.1.2 積分圖像構(gòu)建算法 65
3.2 AdaBoost應(yīng)用于Haar人臉特征分類 66
3.3 AdaBoost級聯(lián)應(yīng)用于Haar特征人臉檢測 70
3.4 利用OpenCV進行基于Haar特征的人臉檢測實戰(zhàn) 73
第4章 深度學習引入及圖像分類實戰(zhàn) 75
4.1 卷積神經(jīng)網(wǎng)絡(luò)的重要概念 75
4.2 卷積神經(jīng)網(wǎng)絡(luò)訓練技巧及經(jīng)典架構(gòu) 79
4.3 設(shè)計卷積神經(jīng)網(wǎng)絡(luò)進行圖像分類 82
4.4 選擇卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)及優(yōu)化器 85
4.5 改進卷積神經(jīng)網(wǎng)絡(luò)以提高圖像分類準確率 88
第5章 目標檢測的兩階段深度學習方法 90
5.1 R-CNN目標檢測思想 90
5.1.1 目標檢測數(shù)據(jù)集 91
5.1.2 從滑動窗口到選擇搜索 91
5.1.3 R-CNN網(wǎng)絡(luò)架構(gòu)及訓練過程 93
5.2 目標檢測指標——二分類器 97
5.3 R-CNN目標檢測模型評估結(jié)果 100
5.3.1 R-CNN用于細粒度類別檢測 108
5.3.2 R-CNN用于目標檢測與分割 109
5.4 R-CNN的缺陷和Fast R-CNN的改進 110
5.4.1 R-CNN的缺陷 110
5.4.2 感興趣區(qū)域池化 111
5.4.3 Fast R-CNN創(chuàng)新?lián)p失函數(shù)設(shè)計 113
5.5 Fast R-CNN網(wǎng)絡(luò)架構(gòu)和模型評估 115
5.5.1 Fast R-CNN模型工作流程 115
5.5.2 Fast R-CNN網(wǎng)絡(luò)架構(gòu) 116
5.5.3 RoI池化反向傳播方法 116
5.5.4 Fast R-CNN結(jié)果評估 117
5.6 Fast R-CNN的創(chuàng)新 118
5.6.1 Faster R-CNN的創(chuàng)新思想 118
5.6.2 替代選擇搜索的錨框 119
5.6.3 區(qū)域建議網(wǎng)絡(luò) 120
5.7 深入剖析Faster R-CNN中邊界框回歸 123
5.7.1 為什么使用邊界框回歸 124
5.7.2 邊界框回歸的數(shù)學支撐 125
5.8 Faster R-CNN的全景架構(gòu)和損失函數(shù) 127
5.9 Faster R-CNN的訓練步驟及測試步驟 129
5.9.1 Faster R-CNN的訓練步驟 129
5.9.2 Faster R-CNN的測試步驟 131
5.10 詳細講解Faster R-CNN關(guān)鍵部分RoI代碼 132
第6章 目標檢測的一階段學習方法 134
6.1 YOLO目標檢測思想 135
6.1.1 改進思想 136
6.1.2 網(wǎng)格單元 137
6.1.3 YOLO創(chuàng)新細節(jié) 138
6.2 YOLO的網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)與損失函數(shù) 140
6.2.1 YOLO的網(wǎng)絡(luò)結(jié)構(gòu) 140
6.2.2 YOLO的網(wǎng)絡(luò)訓練與損失函數(shù) 142
6.3 YOLO模型評估、優(yōu)劣勢分析 144
6.3.1 YOLO數(shù)據(jù)集 145
6.3.2 YOLO模型評估 145
6.3.3 YOLO模型優(yōu)缺點 146
6.4 YOLOv2實現(xiàn)更好、更快、更強 149
6.5 YOLOv2改進YOLOv1——更好 149
6.5.1 批歸一化 150
6.5.2 高分辨率分類器 150
6.5.3 預(yù)設(shè)錨框并采用全卷積 150
6.5.4 框聚類 151
6.5.5 約束邊框位置 153
6.5.6 細粒度特征 154
6.5.7 多尺度訓練 154
6.5.8 實驗對比 156
6.6 YOLOv2 使用Darknet-19——更快 158
6.6.1 Darknet-19 158
6.6.2 三階段訓練 159
6.6.3 YOLOv2的損失函數(shù) 161
6.7 使用WordTree的YOLO9000——更強 164
6.7.1 組合兩種數(shù)據(jù)集的必要性 164
6.7.2 構(gòu)建WordTree進行分層分類 165
6.7.3 在組合數(shù)據(jù)集上訓練YOLO9000 167
第7章 YOLOv3創(chuàng)新思想及整體架構(gòu) 170
7.1 YOLOv3的創(chuàng)新改進 170
7.2 YOLOv3的關(guān)鍵創(chuàng)新點 171
7.2.1 106層的Darknet-53主干網(wǎng)絡(luò)架構(gòu) 171
7.2.2 三級檢測 176
7.2.3 更擅長檢測較小的物體 177
7.2.4 更多的錨框 177
7.2.5 損失函數(shù) 178
7.3 YOLOv3的三級檢測輸出過程 179
7.4 YOLOv3的非極大值抑制 183
7.5 YOLOv3的檢測效果 184
7.6 SSD多尺度特征圖目標檢測思想 185
7.7 SSD網(wǎng)絡(luò)架構(gòu) 191
7.7.1 SSD網(wǎng)絡(luò)基礎(chǔ)架構(gòu) 191
7.7.2 擴張卷積 192
7.7.3 SSD與YOLOv3 193
7.7.4 SSD網(wǎng)絡(luò)檢測物體方法 193
7.8 SSD網(wǎng)絡(luò)損失函數(shù) 194
7.8.1 默認框匹配策略 194
7.8.2 損失函數(shù) 195
7.9 SSD較YOLOv3的劣勢 196
第8章 構(gòu)建Darknet-53網(wǎng)絡(luò)實踐 198
8.1 Darknet-53網(wǎng)絡(luò)工程結(jié)構(gòu)和配置 198
8.2 實踐代碼 200
8.3 構(gòu)建Darknet-53網(wǎng)絡(luò)前向傳遞過程 203
8.3.1 構(gòu)建Darknet-53的模塊 203
8.3.2 Darknet-53的模塊詳解 205
8.4 YOLOv3 實現(xiàn)檢測層特征圖到邊界的預(yù)測值轉(zhuǎn)變 209
8.4.1 參數(shù)講解 209
8.4.2 實現(xiàn)步驟和代碼 210
8.5 YOLOv3 演示邊框生成過程 212
8.6 YOLOv3 處理低閾值邊框 214
8.6.1 思路講解 215
8.6.2 代碼實踐 215
8.7 YOLOv3 非極大值抑制過程 218
8.7.1 延續(xù)上一節(jié)代碼講解NMS過程 219
8.7.2 NMS后的整理 220
8.8 YOLOv3演示NMS過程找到最優(yōu)框 220
8.8.1 運行檢測代碼演示 220
8.8.2 運行結(jié)果分析 221
8.9 YOLOv3實現(xiàn)工業(yè)工具檢測 224
8.9.1 YOLOv3工業(yè)實踐需求分析及目標分析 225
8.9.2 數(shù)據(jù)采集標注與數(shù)據(jù)預(yù)處理部分 226
8.9.3 模型訓練部分 230
8.9.4 模型優(yōu)化部分 239
第9章 YOLOv4目標檢測方法 240
9.1 YOLOv4目標檢測創(chuàng)新路徑及技巧體系 240
9.1.1 速度與精度雙提升 240
9.1.2 YOLOv4技巧匯總 240
9.2 YOLOv4大型網(wǎng)絡(luò)架構(gòu)及其主要創(chuàng)新改進 246
9.2.1 空間金字塔結(jié)構(gòu) 246
9.2.2 路徑增強網(wǎng)絡(luò) 247
9.2.3 使用YOLOv4的網(wǎng)絡(luò)詳情 248
9.2.4 CSPDarknet-53網(wǎng)絡(luò) 254
9.2.5 YOLOv4網(wǎng)絡(luò)全景關(guān)系 255
9.3 YOLOv4中的激活函數(shù) 256
9.3.1 各激活函數(shù)的比較 256
9.3.2 keras實現(xiàn)三種激活函數(shù)性能比較 260
9.4 YOLOv4中的損失函數(shù)C-IoU 263
9.4.1 L1和L2損失的缺陷 264
9.4.2 IoU和IoU損失 264
9.4.3 G-IoU、D-IoU和C-IoU 265
9.5 YOLOv4中的新型批標準化 268
9.5.1 各種批標準化 268
9.5.2 跨迭代標準化 270
第10章 EfficientDet目標檢測方法 272
10.1 復合縮放 272
10.2 雙向特征金字塔網(wǎng)絡(luò) 274
10.3 EfficientDet體系結(jié)構(gòu) 276
10.3.1 輸入圖像分辨率縮放 276
10.3.2 BiFPN縮放 277
10.3.3 框/類預(yù)測網(wǎng)絡(luò)縮放 277
10.3.4 主干網(wǎng) 277
10.4 EfficientDet推理效果和不足之處 279
10.4.1 EfficientDet推理效果 279
10.4.2 EfficientDet不足之處 282
參考文獻 284