本書從基于圖像的視覺感知角度出發(fā),對面向自動駕駛的交通標識視覺感知相關(guān)技術(shù)進行系統(tǒng)分析和介紹,主要內(nèi)容包括基于深度學習的視覺感知、交通標識的視覺識別、雙目視覺與交通標識測距、車道線檢測、面向自動駕駛的嵌入式系統(tǒng)、視覺感知在自動駕駛中的應用展望等。
基于視覺的自動駕駛汽車環(huán)境感知中的交通標識識別,從算法和硬件平臺兩個角度出發(fā)進行平臺的設計與實現(xiàn)
自動駕駛汽車是人類道路交通工具的未來發(fā)展形態(tài),將對人類社會的各方面產(chǎn)生廣泛而深遠的影響。自動駕駛汽車具有減少道路交通事故、緩解城市交通擁堵并減少環(huán)境污染等諸多優(yōu)勢。自動駕駛技術(shù)是一個涉及車輛工程、計算機科學、人工智能、模式識別和智能控制的多學科、跨學科綜合研究領(lǐng)域,是人工智能技術(shù)在汽車領(lǐng)域的關(guān)鍵應用。自動駕駛汽車的核心是具有環(huán)境感知、規(guī)劃決策和控制執(zhí)行的移動信息處理平臺,其中環(huán)境感知是自動駕駛汽車獲取外界信息的源頭,占據(jù)著關(guān)鍵的地位。
視覺感知在環(huán)境感知中發(fā)揮著極其重要的作用,是獲取物理世界實時信息的主要方式。以深度學習為代表的人工智能技術(shù)在視覺感知上的進展推動了各類視覺應用性能的提升,逐漸達到實用的程度。交通標識包括道路交通設置的交通標識牌、紅綠燈以及地面的車道線和停止線等交通指示線信息,基于深度學習的視覺感知通過對交通標識的檢測、識別與測距,能夠完成自動駕駛汽車需要的環(huán)境感知需求。本書對面向自動駕駛的交通標識視覺感知相關(guān)技術(shù)進行了系統(tǒng)的介紹,梳理了自動駕駛需要實現(xiàn)的系統(tǒng)功能、交通標識視覺識別技術(shù)的原理和實現(xiàn)、雙目視覺在交通標識測距上的應用以及車道線檢測的基本方法和實現(xiàn)參考,最后通過對實現(xiàn)平臺的介紹,可為相關(guān)研究人員在這一領(lǐng)域開展研究提供相關(guān)參考。
全書共分為8章。第1章對自動駕駛的發(fā)展歷史、分級定義與功能分析、硬件平臺及軟件平臺進行了詳細的介紹; 第2章介紹了人工智能的發(fā)展歷程和研究途徑,分析了人工智能技術(shù),特別是深度學習和強化學習在自動駕駛中的應用場景; 第3章介紹了基于深度學習的視覺感知技術(shù)在圖像分類、目標檢測、目標跟蹤和圖像分割應用上的典型算法; 第4章介紹了如何采用深度學習框架、制作數(shù)據(jù)集、修改和設計神經(jīng)網(wǎng)絡模型實現(xiàn)交通標識的視覺識別; 第5章介紹了雙目視覺定義和原理、交通標識測距的流程和方法、試驗結(jié)果與分析; 第6章介紹了基于傳統(tǒng)視覺和深度學習的視覺感知,詳細介紹了實現(xiàn)車道線檢測的不同方法的原理和實現(xiàn)方法,包括實現(xiàn)代碼和具體流程; 第7章介紹了視覺感知處理依賴的嵌入式計算機系統(tǒng),包括視覺傳感器、硬件計算平臺和軟件開發(fā)環(huán)境,結(jié)合交通標識視覺感知和雙目相機測距,給出了系統(tǒng)實現(xiàn)框架; 第8章介紹了視覺感知技術(shù)在自動駕駛中的應用展望,給出了視覺感知技術(shù)能夠進一步推動自動駕駛發(fā)展的研究方向。
在本書的編寫過程中,得到了沈陽工業(yè)大學多位教師和研究生的幫助和支持,徐佳鋒同學的研究工作使得車道線檢測部分的內(nèi)容更加完善,陳健、蔣慶齡、吳思男、郭玉婷、楊麗、王守滿、賀繼昌、趙鋆益等同學做了大量的書稿整理和完善工作。
在本書的編寫過程中,編者參閱了大量的文獻資料,從中得到了許多有益的啟發(fā)和幫助,在此向這些文獻的作者表示衷心的感謝。感謝全國勞動模范、奇瑞汽車股份有限公司汽車工程技術(shù)研發(fā)總院的徐有忠博士為本書作序,他在本書的編寫過程中提供了很多中肯的建議,同時對清華大學出版社在出版過程中給予的支持表示誠摯感謝。
由于編者水平有限,加之經(jīng)驗不足,本書難免有疏漏之處,懇請各位同行和讀者批評指正。
編者
2023年6月
第1章自動駕駛與計算機視覺
1.1自動駕駛發(fā)展歷史
1.2自動駕駛的定義與功能分析
1.3自動駕駛硬件平臺
1.4自動駕駛軟件平臺
1.5計算機視覺與感知
1.6視覺感知在自動駕駛中的應用
參考文獻
第2章人工智能及其在自動駕駛中的應用
2.1人工智能基礎
2.1.1人工智能的發(fā)展歷程
2.1.2人工智能的研究途徑
2.1.3人工智能的趨勢與展望
2.2機器學習與深度學習
2.2.1機器學習的含義與分類
2.2.2深度學習的發(fā)展歷程
2.2.3深度學習與計算機視覺
2.2.4深度學習與自然語言處理
2.3強化學習
2.3.1強化學習的基本要素
2.3.2強化學習的常用方法
2.3.3強化學習的發(fā)展方向
2.4深度學習在自動駕駛中的應用
2.4.1交通標識識別
2.4.2目標感知
2.4.3車道線檢測
2.4.4自動泊車
2.4.5司乘人員狀態(tài)監(jiān)控
2.5強化學習在自動駕駛中的應用
參考文獻
第3章基于深度學習的視覺感知
3.1深度學習基礎
3.2計算機視覺技術(shù)
3.3圖像分類典型算法
3.4目標檢測典型算法
3.4.1兩階段目標檢測方法
3.4.2單階段目標檢測方法
3.5目標跟蹤典型算法
3.6圖像分割典型算法
3.6.1語義分割算法
3.6.2實例分割算法
參考文獻
第4章交通標識的視覺識別
4.1交通標識和信號燈檢測
4.1.1交通標識檢測
4.1.2交通信號燈檢測
4.2卷積神經(jīng)網(wǎng)絡與目標檢測
4.2.1卷積神經(jīng)網(wǎng)絡結(jié)構(gòu)分析
4.2.2目標檢測算法評估指標
4.2.3YOLOv3目標檢測模型分析
4.3數(shù)據(jù)集準備
4.3.1開源數(shù)據(jù)集的現(xiàn)狀及使用方法
4.3.2自制數(shù)據(jù)集的工作流程
4.4深度學習框架及模型使用
4.4.1主流深度學習框架
4.4.2開源模型使用方法
4.5交通標識與信號燈檢測模型
4.5.1TYOLO模型設計要點
4.5.2輕量化網(wǎng)絡設計
4.5.3TMYOLO網(wǎng)絡
4.5.4檢測模型試驗
參考文獻
第5章雙目視覺與交通標識測距
5.1雙目視覺
5.1.1雙目視覺定義
5.1.2雙目視覺面臨的問題
5.2雙目視覺的應用
5.3雙目測距原理與優(yōu)化
5.3.1雙目視覺測距原理
5.3.2雙目視覺測距優(yōu)化
5.4交通標識測距
5.4.1相機標定及校正映射表計算
5.4.2圖像預處理
5.4.3金字塔模板匹配
5.4.4坐標校正及測距
5.4.5測距流程
5.5試驗與結(jié)果分析
5.5.1雙目視覺傳感器
5.5.2視覺傳感器參數(shù)計算
5.5.3車載環(huán)境試驗與分析
參考文獻
第6章車道線檢測
6.1車道線檢測
6.2車道線檢測研究進展
6.2.1傳統(tǒng)視覺檢測方法
6.2.2深度學習檢測方法
6.3基于傳統(tǒng)視覺的車道線檢測
6.3.1透視變換
6.3.2動態(tài)閾值提取車道線
6.3.3車道線方程擬合
6.3.4平滑輸出方法
6.4基于深度學習的車道線檢測
6.4.1語義分割網(wǎng)絡與車道線檢測
6.4.2基于DABNet的改進模型
參考文獻
第7章面向自動駕駛的嵌入式系統(tǒng)
7.1嵌入式系統(tǒng)構(gòu)成
7.2車載攝像頭
7.2.1車載攝像頭組成
7.2.2車載攝像頭性能參數(shù)
7.3嵌入式硬件計算平臺
7.3.1各類計算平臺的性能和功耗
7.3.2不同計算平臺優(yōu)、缺點分析
7.3.3產(chǎn)業(yè)格局及代表產(chǎn)品
7.4嵌入式系統(tǒng)軟件環(huán)境
7.4.1計算平臺中的開發(fā)環(huán)境
7.4.2Jetson TX2中配置深度學習框架
7.4.3基于TensorRT的模型量化壓縮
7.5交通標識視覺感知系統(tǒng)框架
7.6交通標識視覺感知系統(tǒng)實現(xiàn)
7.6.1圖像采集與目標檢測
7.6.2基于MobileNetv2的目標識別模塊
7.6.3雙目相機測距模塊
參考文獻
第8章視覺感知在自動駕駛中的應用展望
8.1視覺感知與交通標識
8.2視覺感知與內(nèi)容理解
8.3視覺感知與數(shù)字孿生
8.4視覺感知與信息獲取
8.5視覺感知與計算平臺
8.6環(huán)境感知與信息融合
參考文獻