第1章　緒論001
1.1　汽車的智能化002
1.1.1　智能汽車002
1.1.2　智能網(wǎng)聯(lián)汽車002
1.1.3　無人駕駛汽車003
1.2　環(huán)境感知技術(shù)的重要性004
1.3　國內(nèi)外研究現(xiàn)狀006
1.3.1　基于圖像的環(huán)境感知技術(shù)006
1.3.2　基于點(diǎn)云的環(huán)境感知技術(shù)010
1.3.3　基于多傳感器融合的環(huán)境感知技術(shù)012
1.3.4　基于多任務(wù)網(wǎng)絡(luò)的環(huán)境感知技術(shù)013

第2章　智能汽車感知系統(tǒng)及傳感器標(biāo)定方法015
2.1　感知系統(tǒng)介紹016
2.1.1　感知系統(tǒng)架構(gòu)016
2.1.2　傳感器介紹017
2.2　單目相機(jī)標(biāo)定019
2.2.1　相機(jī)成像模型019
2.2.2　相機(jī)內(nèi)參標(biāo)定022
2.3　相機(jī)和激光雷達(dá)聯(lián)合標(biāo)定025
2.3.1　相機(jī)坐標(biāo)系和激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換模型025
2.3.2　外參的聯(lián)合標(biāo)定026
本章小結(jié)031

第3章　基于單目視覺的環(huán)境感知技術(shù)033
3.1　深度學(xué)習(xí)理論及相關(guān)方法介紹034
3.1.1　注意力機(jī)制034
3.1.2　注意力機(jī)制的計(jì)算034
3.1.3　自注意力機(jī)制035
3.2　VisionTransformer037
3.3　SwinDeformableTransformer-BiPAFPN-YOLOX目標(biāo)檢測算法041
3.3.1　DarkNet53-PAFPN-YOLOX目標(biāo)檢測算法041
3.3.2　SwinDeformableTransformer-BiPAFPN-YOLOX目標(biāo)檢測算法整體結(jié)構(gòu)045
3.3.3　重建可變形自注意力機(jī)制046
3.3.4　主干網(wǎng)絡(luò)：SwinDeformableTransformer048
3.3.5　頸部：BiPAFPN051
3.4　實(shí)驗(yàn)與分析053
3.4.1　實(shí)驗(yàn)平臺(tái)搭建053
3.4.2　數(shù)據(jù)集053
3.4.3　評價(jià)標(biāo)準(zhǔn)053
3.4.4　訓(xùn)練策略055
3.4.5　實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)與分析055
3.5　實(shí)車實(shí)驗(yàn)062
3.5.1　實(shí)驗(yàn)設(shè)備介紹062
3.5.2　實(shí)時(shí)檢測064
本章小結(jié)067

第4章　基于MobileNetv2_CA-YOLOv4的環(huán)境感知技術(shù)069
4.1　MobileNetv2_CA-YOLOv4的輕量化目標(biāo)檢測算法070
4.1.1　深度可分離卷積070
4.1.2　網(wǎng)絡(luò)結(jié)構(gòu)的構(gòu)建071
4.1.3　注意力機(jī)制及對比074
4.1.4　協(xié)調(diào)注意力機(jī)制CoordinateAttention（CA）的嵌入075
4.1.5　構(gòu)造網(wǎng)絡(luò)損失函數(shù)078
4.1.6　馬賽克圖像增強(qiáng)方法079
4.2　MobileNetv2_CA-YOLOv4目標(biāo)檢測算法的實(shí)驗(yàn)與分析080
4.2.1　實(shí)驗(yàn)平臺(tái)080
4.2.2　數(shù)據(jù)集介紹081
4.2.3　模型訓(xùn)練081
4.2.4　評價(jià)指標(biāo)082
4.2.5　實(shí)驗(yàn)結(jié)果分析082
4.2.6　目標(biāo)檢測結(jié)果對比086
本章小結(jié)089

第5章　基于MCDVformer的多任務(wù)環(huán)境感知技術(shù)091
5.1　多任務(wù)主干MCDVformer介紹092
5.1.1　整體結(jié)構(gòu)092
5.1.2　移位窗口自注意力機(jī)制092
5.1.3　重建可變形自注意力機(jī)制093
5.1.4　關(guān)鍵點(diǎn)可變形自/交叉注意力機(jī)制094
5.1.5　SwinDeformableEncoder-Decoder095
5.1.6　密集殘差連接097
5.2　目標(biāo)檢測實(shí)驗(yàn)098
5.2.1　數(shù)據(jù)集與評價(jià)標(biāo)準(zhǔn)098
5.2.2　訓(xùn)練策略098
5.2.3　定量實(shí)驗(yàn)分析099
5.2.4　定性實(shí)驗(yàn)分析100
5.3　實(shí)例分割實(shí)驗(yàn)101
5.3.1　數(shù)據(jù)集、訓(xùn)練策略與評價(jià)指標(biāo)101
5.3.2　定量實(shí)驗(yàn)分析101
5.3.3　定性實(shí)驗(yàn)分析103
5.4　目標(biāo)分類實(shí)驗(yàn)103
5.4.1　數(shù)據(jù)集以及評價(jià)指標(biāo)103
5.4.2　訓(xùn)練策略104
5.4.3　定量實(shí)驗(yàn)分析104
5.5　語義分割實(shí)驗(yàn)106
5.5.1　數(shù)據(jù)集與評價(jià)指標(biāo)106
5.5.2　訓(xùn)練策略106
5.5.3　定量實(shí)驗(yàn)分析106
5.5.4　定性實(shí)驗(yàn)分析108
5.6　消融實(shí)驗(yàn)109
5.7　實(shí)車實(shí)驗(yàn)113
5.7.1　目標(biāo)檢測實(shí)車實(shí)驗(yàn)113
5.7.2　實(shí)例分割實(shí)車實(shí)驗(yàn)115
5.7.3　語義分割實(shí)車實(shí)驗(yàn)117
本章小結(jié)118

第6章　基于點(diǎn)云數(shù)據(jù)增強(qiáng)的環(huán)境感知技術(shù)119
6.1　點(diǎn)云密度和語義增強(qiáng)框架與流程120
6.1.1　點(diǎn)云密度增強(qiáng)121
6.1.2　點(diǎn)云語義增強(qiáng)122
6.2　點(diǎn)云和圖像之間的坐標(biāo)轉(zhuǎn)換124
6.3　數(shù)據(jù)集和檢測器細(xì)節(jié)125
6.4　實(shí)驗(yàn)和結(jié)果分析126
6.4.1　nuScenes數(shù)據(jù)集的評價(jià)指標(biāo)126
6.4.2　nuScenes數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果127
6.4.3　KITTI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果127
6.5　消融實(shí)驗(yàn)128
6.5.1　點(diǎn)云密度增強(qiáng)的有效性驗(yàn)證129
6.5.2　點(diǎn)云語義增強(qiáng)的有效性驗(yàn)證131
6.5.3　D-SAugmentation整體性能的有效性驗(yàn)證132
本章小結(jié)134

第7章　基于兩階段序列融合的環(huán)境感知技術(shù)135
7.1　多模態(tài)傳感器數(shù)據(jù)融合方法及概念136
7.2　兩階段序列融合網(wǎng)絡(luò)137
7.3　最近群組關(guān)聯(lián)的點(diǎn)云語義增強(qiáng)137
7.3.1　點(diǎn)云語義增強(qiáng)模塊138
7.3.2　最近群組關(guān)聯(lián)138
7.4　基于置信度和距離的非極大值抑制141
7.4.1　基于置信度的非極大值抑制141
7.4.2　級(jí)聯(lián)距離與置信度的非極大值抑制141
7.5　實(shí)驗(yàn)結(jié)果及分析143
7.5.1　數(shù)據(jù)集介紹143
7.5.2　二維檢測器的配置143
7.5.3　三維檢測器的配置144
7.5.4　融合模塊的配置144
7.5.5　檢測結(jié)果及對比145
7.6　消融實(shí)驗(yàn)146
7.6.1　NGP模塊的有效性146
7.6.2　C-DNMS模塊的有效性147
7.6.3　TSF整體網(wǎng)絡(luò)的有效性149
本章小結(jié)150

第8章　基于多模態(tài)融合的環(huán)境感知技術(shù)151
8.1　多模態(tài)融合環(huán)境感知算法問題描述152
8.2　MFF-Net總體框架153
8.2.1　空間變換投影（STP）154
8.2.2　自適應(yīng)表達(dá)增強(qiáng)（AEE）融合155
8.2.3　自適應(yīng)非極大值抑制（A-NMS）算法157
8.3　實(shí)驗(yàn)設(shè)置158
8.3.1　實(shí)驗(yàn)環(huán)境158
8.3.2　網(wǎng)絡(luò)細(xì)節(jié)159
8.3.3　KITTI數(shù)據(jù)集評價(jià)指標(biāo)159
8.3.4　網(wǎng)絡(luò)訓(xùn)練參數(shù)159
8.4　實(shí)驗(yàn)結(jié)果和分析160
8.4.1　KITTI測試結(jié)果與分析160
8.4.2　nuScenes測試結(jié)果與分析162
8.5　消融實(shí)驗(yàn)162
8.5.1　定量實(shí)驗(yàn)分析163
8.5.2　定性實(shí)驗(yàn)分析164
本章小結(jié)167

參考文獻(xiàn)168