2012年，多倫多大學(xué)Geoffrey Hinton教授指導(dǎo)的學(xué)生Alex Krizhevsky發(fā)表了AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)模型，在ImageNet圖像識別任務(wù)上大幅超越第二名，開啟了深度學(xué)習(xí)的新紀(jì)元。同年，筆者于慕尼黑工業(yè)大學(xué)畢業(yè)，彼時(shí)，筆者選修了Daniel Cremers教授開設(shè)的多門課程，醉心于學(xué)習(xí)凸優(yōu)化、微分幾何等經(jīng)典計(jì)算機(jī)視覺的理論知識，對卷積神經(jīng)網(wǎng)絡(luò)一無所知，絲毫感覺不到一個(gè)人工智能的偉大時(shí)代就此揭開帷幕。25年前，也是在慕尼黑工業(yè)大學(xué)計(jì)算機(jī)系，Jrgen Schmidhuber教授指導(dǎo)的學(xué)生Sepp Hochreiter發(fā)表了論文LSTM（Long Short-Term Memory），他們也決然無法預(yù)料，被SVM等機(jī)器學(xué)習(xí)方法打敗的仿生人工智能，居然會(huì)在幾十年后忽然起死回生，迎來爆發(fā)式發(fā)展。
從2012年AlexNet的發(fā)表到今天，不過10年有余，卷積神經(jīng)網(wǎng)絡(luò)和相關(guān)硬件的發(fā)展可謂一日千里。筆者在自動(dòng)駕駛視覺感知領(lǐng)域從業(yè)五年，深感這個(gè)領(lǐng)域教育資源的發(fā)展遠(yuǎn)遠(yuǎn)跟不上學(xué)術(shù)界和工業(yè)界的發(fā)展。該領(lǐng)域涉及的知識龐雜，既廣又深：知識廣度方面，從最優(yōu)化理論，常用模型的特點(diǎn)，到使用C 編寫高性能、高可靠性的程序和對各種神經(jīng)網(wǎng)絡(luò)加速芯片的了解，都屬于自動(dòng)駕駛感知算法工程師技術(shù)棧的覆蓋范圍；知識深度方面，工程師要對卷積神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)理論有足夠深入的理解，而不應(yīng)止步于調(diào)參的范圍。
也就是說，一個(gè)自動(dòng)駕駛算法工程師，不但要有深厚的數(shù)學(xué)基礎(chǔ)，掌握凸優(yōu)化和統(tǒng)計(jì)學(xué)，還要熟悉高性能嵌入式軟件的編寫，這是一個(gè)橫跨學(xué)術(shù)界和工業(yè)界的多面手職業(yè)。尤其是自動(dòng)駕駛行業(yè)一日千里，很多工程師只能在工作中邊干邊學(xué)，一路走來可謂磕磕絆絆，如果能有一本書全面覆蓋自動(dòng)駕駛感知算法工程師的能力圈，那職業(yè)之路走起來就會(huì)順暢很多。筆者就是出于這個(gè)目的，根據(jù)自己的職業(yè)經(jīng)驗(yàn)和理論知識，編寫了本書。

本書特點(diǎn)
考慮到上文提及的自動(dòng)駕駛感知算法工程師的種種職業(yè)特點(diǎn)，本書的內(nèi)容將會(huì)兼顧計(jì)算機(jī)視覺學(xué)術(shù)界的最新研究成果和自動(dòng)駕駛的工程實(shí)踐。
兼顧細(xì)節(jié)與理論
深度學(xué)習(xí)的很多算法用公式或語言來描述會(huì)困難重重，用示意圖來表現(xiàn)則是一目了然。對算法和模型的細(xì)節(jié)，筆者繪制了大量的三維示意圖進(jìn)行講解，爭取讓讀者一看就懂。
但光有細(xì)節(jié)是不夠的，深度學(xué)習(xí)算法工程師常被取笑為調(diào)參俠煉丹師。這是因?yàn)榫矸e神經(jīng)網(wǎng)絡(luò)被認(rèn)為是一個(gè)巨大的黑盒（Black Box），其運(yùn)作規(guī)律難以為人類所理解。誠然，深度學(xué)習(xí)的理論仍在構(gòu)建之中，尚不完善，但學(xué)術(shù)界從未停止過對深度學(xué)習(xí)的理解。已經(jīng)有大量學(xué)術(shù)成果能加深人們對卷積神經(jīng)網(wǎng)絡(luò)各種現(xiàn)象的理解，本書將吸收這些成果對神經(jīng)網(wǎng)絡(luò)的運(yùn)作進(jìn)行解釋。例如，ResNet的有效性，除了原論文中的解釋，還有其他學(xué)者也對其進(jìn)行了研究，產(chǎn)生了新的理解，這些研究也被納入到本書中來。
總之，筆者爭取讓讀者知其然，也知其所以然，超越調(diào)參俠的職業(yè)定位。
注重動(dòng)手實(shí)踐
本書除了對理論進(jìn)行深入淺出的講解，也注重將理論落到實(shí)處。深度學(xué)習(xí)一個(gè)很大的特點(diǎn)是一看就懂，一做就懵。理論很熟悉了，但實(shí)際操作起來會(huì)遇到各種各樣的小問題。這是因?yàn)樗惴üこ處煈?yīng)能將數(shù)學(xué)符號和代碼中的數(shù)據(jù)結(jié)構(gòu)連接起來，這是這個(gè)職業(yè)所需要的獨(dú)特能力。本書對重要的模型細(xì)節(jié)都展示了代碼示例，對代碼中各個(gè)張量的維度，各維度的含義都有詳細(xì)的注釋和講解。對于復(fù)雜的模型，筆者直接在公式下方展示代碼，盡量做到讓讀者從公式中的符號輕松地落實(shí)到代碼中的變量中。
提供迷你數(shù)據(jù)集
自動(dòng)駕駛視覺感知任務(wù)的另一個(gè)特點(diǎn)是任務(wù)多而雜，每個(gè)任務(wù)往往都有一些通用的數(shù)據(jù)集。例如，深度估計(jì)有KITTI數(shù)據(jù)集，語義分割有Cityscape，目標(biāo)檢測有nuScenes等。學(xué)習(xí)的時(shí)候往往會(huì)遇到的一個(gè)問題是每一個(gè)任務(wù)都要下載一個(gè)巨大無比的數(shù)據(jù)集，并專門寫接口。如果要進(jìn)行多任務(wù)訓(xùn)練，往往需要nuScenes等巨型數(shù)據(jù)集，而且標(biāo)注還不全面。如果只用于學(xué)習(xí)的目的，雜亂而龐大的數(shù)據(jù)集無疑大大增加了學(xué)習(xí)的時(shí)間和經(jīng)濟(jì)成本。
為此筆者特意自制了一個(gè)方便學(xué)習(xí)的迷你數(shù)據(jù)集。數(shù)據(jù)集采集于德國慕尼黑一片安靜的城區(qū)，場景類似于KITTI，僅包含7000多幀圖像。筆者使用當(dāng)時(shí)精度最高的目標(biāo)檢測和語義分割網(wǎng)絡(luò)對這個(gè)迷你數(shù)據(jù)集進(jìn)行標(biāo)注，并逐幀對標(biāo)注的偽真值進(jìn)行后期處理，盡量獲得高質(zhì)量的標(biāo)注數(shù)據(jù)。數(shù)據(jù)集是一個(gè)連續(xù)的視頻，筆者還對相機(jī)進(jìn)行了標(biāo)定，故可以用于無監(jiān)督深度估計(jì)任務(wù)。
強(qiáng)調(diào)模型部署落地
正如上文所說，要成為一個(gè)優(yōu)秀的算法工程師，其工作內(nèi)容不僅是調(diào)參那么簡單，另一塊重要的工作內(nèi)容就是將模型部署到生產(chǎn)環(huán)境。對于互聯(lián)網(wǎng)行業(yè)的算法工程師來說，模型部署可能相對簡單，有成熟的工具鏈支持，但自動(dòng)駕駛的模型部署就復(fù)雜得多了。首先自動(dòng)駕駛系統(tǒng)運(yùn)行的硬件平臺(tái)往往不是常見的x86平臺(tái)，自動(dòng)駕駛系統(tǒng)的模型部署，其實(shí)已經(jīng)屬于嵌入式軟件開發(fā)了。其次，自動(dòng)駕駛系統(tǒng)實(shí)時(shí)性高，吞吐率需要達(dá)到10FPS（Frame-Per-Second）或更高，同時(shí)需要運(yùn)行的神經(jīng)網(wǎng)絡(luò)模型很多，而硬件平臺(tái)上的神經(jīng)網(wǎng)絡(luò)加速器往往算力有限。因此，為了將神經(jīng)網(wǎng)絡(luò)模型部署到算力有限的硬件平臺(tái)，并達(dá)到實(shí)時(shí)性要求，需要結(jié)合硬件的特點(diǎn)對模型進(jìn)行設(shè)計(jì)和壓縮。
模型的部署涉及模型壓縮、模型導(dǎo)出、Nvidia芯片的模型量化和模型推理、C 的開發(fā)等知識，都是深度學(xué)習(xí)課堂上不會(huì)涉及的工程實(shí)踐內(nèi)容。這些工程實(shí)踐知識是非常重要的，但超出了很多長期在Ubuntu和Python開發(fā)環(huán)境下的讀者的舒適區(qū)。本書將全面覆蓋相關(guān)知識，幫助讀者更輕松地?cái)U(kuò)大自己的舒適區(qū)，為將來的工作做好準(zhǔn)備。

本書內(nèi)容
第1章講解卷積神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)，用簡潔的篇幅介紹了神經(jīng)網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識。包括反向傳播的推導(dǎo)、神經(jīng)網(wǎng)絡(luò)的各種網(wǎng)絡(luò)層、常用的損失函數(shù)、正則化、優(yōu)化器和學(xué)習(xí)率調(diào)整方法等。
第2章介紹深度學(xué)習(xí)開發(fā)的常用工具，從顯卡和操作系統(tǒng)的概念，到Python開發(fā)中用到的常用工具。例如，pip包管理器、Anaconda虛擬環(huán)境以及NumPy和OpenCV 兩個(gè)常用的庫。最后配合示例代碼著重講解PyTorch的使用，示例代碼將實(shí)現(xiàn)一個(gè)簡單的卷積神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練。
第3章講解卷積神經(jīng)網(wǎng)絡(luò)中主干網(wǎng)絡(luò)的概念。本章首先介紹主干網(wǎng)絡(luò)在卷積神經(jīng)網(wǎng)絡(luò)中的位置和作用，以及對比學(xué)習(xí)等主干網(wǎng)絡(luò)預(yù)訓(xùn)練技術(shù)。之后會(huì)對最常用的幾種主干網(wǎng)絡(luò)的特點(diǎn)和使用場景進(jìn)行講解。最后通過示例代碼展示如何加載TorchVision中的主干網(wǎng)絡(luò)模型。
第4章介紹自動(dòng)駕駛系統(tǒng)中最經(jīng)典的一個(gè)任務(wù)目標(biāo)檢測。本章首先講解目標(biāo)檢測算法中的幾個(gè)基本概念，如錨框、極大值抑制、一階段和兩階段算法等。隨后以FasterRCNN為例介紹兩階段網(wǎng)絡(luò)，以Yolo為例講解一階段網(wǎng)絡(luò)，以CenterNet為例講解無錨框網(wǎng)絡(luò)。最后講解Yolo的PyTorch示例代碼。
第5章聚焦于自動(dòng)駕駛系統(tǒng)中和圖像分割有關(guān)的兩個(gè)任務(wù)：語義分割和實(shí)例分割。本章講解語義分割的網(wǎng)絡(luò)結(jié)構(gòu)、損失函數(shù)、常用精度指標(biāo)等基礎(chǔ)知識。也會(huì)涉及實(shí)際工作中需要解決的問題，尤其會(huì)介紹語義分割模型的幾種信息融合方法和設(shè)計(jì)思路。本章5.3節(jié)介紹三個(gè)實(shí)例分割算法，特別是會(huì)介紹一種半監(jiān)督的實(shí)例分割算法。最后介紹計(jì)算機(jī)視覺領(lǐng)域最常用的框架OpenMMLab的系統(tǒng)結(jié)構(gòu)和使用方法。
第6章的內(nèi)容是近幾年來新出現(xiàn)的自動(dòng)駕駛感知任務(wù)單目深度估計(jì)。本章首先介紹多視圖三維幾何理論，然后講解單目深度估計(jì)的無監(jiān)督訓(xùn)練方法，最后結(jié)合實(shí)際工作中會(huì)遇到的若干難點(diǎn)提出一些解決方案。
第7章分為兩部分，第一部分介紹多任務(wù)網(wǎng)絡(luò)的結(jié)構(gòu)和設(shè)計(jì)思路，著重介紹多任務(wù)網(wǎng)絡(luò)訓(xùn)練時(shí)的損失平衡問題及其基于不確定度的損失平衡方案；第二部分介紹神經(jīng)網(wǎng)絡(luò)的壓縮，以通道剪枝為例介紹L1正則化增加網(wǎng)絡(luò)稀疏度和可微通道剪枝的網(wǎng)絡(luò)壓縮方法。最后通過示例代碼講解如何用PyTorch實(shí)現(xiàn)網(wǎng)絡(luò)壓縮。
第8章講解神經(jīng)網(wǎng)絡(luò)模型的部署，包括C 開發(fā)環(huán)境的搭建，LibTorch和TensorRT這兩個(gè)神經(jīng)網(wǎng)絡(luò)推理庫。最后介紹模型量化的相關(guān)理論知識和工程實(shí)踐，并對FP32精度模型和INT8精度模型進(jìn)行精度與推理速度對比。

本書代碼資源
本書強(qiáng)調(diào)動(dòng)手實(shí)踐，筆者為本書的出版制作了一個(gè)迷你數(shù)據(jù)集，并為大部分內(nèi)容編寫了代碼。代碼均以MIT許可證開源，既可用于學(xué)習(xí)，也可直接應(yīng)用于日常工作中。開源代碼托管于代碼庫https://github.com/vision-adas/code。
開源代碼的具體內(nèi)容詳見代碼庫的README頁面，迷你數(shù)據(jù)集的下載鏈接也公布于此。代碼庫中代碼包括：
1）目標(biāo)檢測和語義分割多任務(wù)網(wǎng)絡(luò)模型的全套訓(xùn)練代碼。
2）無監(jiān)督單目深度估計(jì)的全套訓(xùn)練代碼。
3）多任務(wù)模型的網(wǎng)絡(luò)壓縮代碼。
4）將模型導(dǎo)出為onnx、pt和TensorRT格式的模型導(dǎo)出代碼。
5）在目標(biāo)硬件上使用LibTorch和TensorRT部署模型的C 示例代碼。
6）配置代碼環(huán)境所需的Dockerfile。

致謝
筆者長年在知乎論壇的深度學(xué)習(xí)社區(qū)參與討論，很多對深度學(xué)習(xí)的理解都來自于社區(qū)討論。網(wǎng)友的批評指正和提問都是對筆者的鞭策，而關(guān)注者的認(rèn)可也在激勵(lì)筆者不斷進(jìn)步，特此對網(wǎng)友們表示感謝。本書成書于疫情期間，父母對筆者長年不回國探親報(bào)以極大的寬容和理解，長時(shí)間的專注讓本書得以完成。筆者的小伙伴楊丹青對本書的第1章進(jìn)行了審閱，對行文提出了很多有價(jià)值的建議，更要感謝她對筆者疏于陪伴的諒解。