全球正在進(jìn)入數(shù)字化新時(shí)代，以云計(jì)算、大數(shù)據(jù)、人工智能與物聯(lián)網(wǎng)為代表的數(shù)字技術(shù)已經(jīng)快速發(fā)展。數(shù)字化時(shí)代的到來(lái)使得深度學(xué)習(xí)和嵌入式人工智能技術(shù)變得越來(lái)越重要。嵌入式人工智能是指設(shè)備可以在不依賴于互聯(lián)網(wǎng)且不通過(guò)云端數(shù)據(jù)中心的情況下進(jìn)行智能計(jì)算，利用本地的計(jì)算資源來(lái)實(shí)現(xiàn)深度學(xué)習(xí)模型的推理。嵌入式人工智能可以完成實(shí)時(shí)的環(huán)境感知、人機(jī)交互和決策控制。然而，在嵌入式平臺(tái)上進(jìn)行深度學(xué)習(xí)推理時(shí)，由于算力、能耗、存儲(chǔ)空間等方面的限制，人工智能系統(tǒng)在推理環(huán)節(jié)會(huì)遇到許多挑戰(zhàn)。本書(shū)旨在介紹深度學(xué)習(xí)模型如何在嵌入式平臺(tái)上完成部署，包括軟硬件兩個(gè)方面。本書(shū)介紹的內(nèi)容有邊緣計(jì)算、人工智能計(jì)算芯片、常用的深度卷積神經(jīng)網(wǎng)絡(luò)模型、輕量級(jí)深度卷積神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)模型輕量化的方法以及深度學(xué)習(xí)模型的硬件部署。
本書(shū)采用結(jié)構(gòu)性思維，提供多張框圖，使整書(shū)脈絡(luò)清晰、環(huán)環(huán)相扣，讀者可以快速把握本書(shū)的結(jié)構(gòu)脈絡(luò)并關(guān)注細(xì)節(jié)。另外，書(shū)中采用大量生動(dòng)的圖表來(lái)說(shuō)明枯燥的理論，并引用大量的實(shí)驗(yàn)結(jié)果比較不同方法之間的性能差異，這些都可以讓一本枯燥的技術(shù)書(shū)籍更加易于理解。作者從大量的科研論文中尋找相關(guān)資料，并將論文中看起來(lái)比較枯燥的公式、圖、表變得更有趣、易懂。同時(shí)，本書(shū)采用簡(jiǎn)潔、平實(shí)并且有趣的方式來(lái)敘述，采用結(jié)構(gòu)圖、原理圖來(lái)表達(dá)比較復(fù)雜的理論或公式。本書(shū)可以幫助讀者快速建立起知識(shí)體系。
本書(shū)提供了可運(yùn)行的代碼示例，注釋清晰、詳細(xì)，配備視頻教程，并附有相關(guān)注釋，為讀者打造全方位的學(xué)習(xí)體驗(yàn)，使讀者在建立知識(shí)體系的同時(shí)掌握算法設(shè)計(jì)、模型壓縮以及模型部署的方法。近年來(lái)，作者在承擔(dān)40余項(xiàng)與人工智能系統(tǒng)研發(fā)相關(guān)的科研項(xiàng)目，并成功研制多款計(jì)算機(jī)視覺(jué)產(chǎn)品的過(guò)程中，深刻感受到在深度學(xué)習(xí)模型部署方面可用于系統(tǒng)性學(xué)習(xí)的相關(guān)資料非常有限。作者在查閱大量英文論文、產(chǎn)品說(shuō)明書(shū)、Facebook官網(wǎng)、NVIDIA官網(wǎng)、Intel官網(wǎng)及相關(guān)博文等的基礎(chǔ)上，完成了本書(shū)的撰寫(xiě)，希望為人工智能從業(yè)人員、初學(xué)者，以及希望系統(tǒng)性開(kāi)始人工智能領(lǐng)域?qū)W習(xí)的朋友提供幫助。
感謝北京交通大學(xué)的同事和學(xué)生們的積極參與，感謝你們針對(duì)本書(shū)理論內(nèi)容和實(shí)踐代碼提出的寶貴建議、意見(jiàn)和測(cè)試反饋，讓本書(shū)內(nèi)容更顯精彩。
第1章邊緣計(jì)算
1．1云計(jì)算與邊緣計(jì)算
1．2邊緣計(jì)算的挑戰(zhàn)
1．2．1DNN模型設(shè)計(jì)
1．2．2DNN模型輕量化
1．2．3硬件優(yōu)化部署
1．3云邊端任務(wù)協(xié)作
1．4本章小結(jié)
1．5習(xí)題
第2章嵌入式AI系統(tǒng)
2．1嵌入式AI系統(tǒng)的概念
2．2嵌入式AI系統(tǒng)的硬件結(jié)構(gòu)
2．3嵌入式AI系統(tǒng)的軟件結(jié)構(gòu)
2．3．1驅(qū)動(dòng)層
2．3．2操作系統(tǒng)層
2．3．3中間件層
2．3．4應(yīng)用層
2．4嵌入式深度學(xué)習(xí)技術(shù)
2．5嵌入式AI系統(tǒng)的應(yīng)用
2．5．1車(chē)載輔助駕駛系統(tǒng)
2．5．2無(wú)人機(jī)智能巡檢系統(tǒng)
2．5．3VR設(shè)備
2．6嵌入式AI系統(tǒng)的需求與挑戰(zhàn)
2．7本章小結(jié)
2．8習(xí)題
深度學(xué)習(xí)框架及系統(tǒng)部署實(shí)戰(zhàn)（微課視頻版）
目錄
第3章嵌入式AI系統(tǒng)的硬件解決方案
3．1通用類芯片GPU
3．2半定制化芯片F(xiàn)PGA
3．3全定制化芯片ASIC
3．4類腦芯片
3．5對(duì)四大類型AI芯片的總結(jié)與展望
3．5．1對(duì)AI芯片的總結(jié)
3．5．2對(duì)AI芯片的展望
3．6本章小結(jié)
3．7習(xí)題
第4章深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)模型的構(gòu)建及實(shí)現(xiàn)
4．1神經(jīng)網(wǎng)絡(luò)的概念及發(fā)展歷史
4．1．1神經(jīng)元的結(jié)構(gòu)
4．1．2感知機(jī)
4．1．3BP算法
4．1．4神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史
4．2深度卷積神經(jīng)網(wǎng)絡(luò)(DCNN)
4．2．1深度學(xué)習(xí)的概念
4．2．2DCNN的概念
4．2．3DCNN的構(gòu)成
4．2．4DCNN的訓(xùn)練
4．3幾種常用的DNN模型結(jié)構(gòu)
4．3．1AlexNet
4．3．2VGG
4．3．3GoogLeNet
4．3．4ResNet
4．3．5網(wǎng)絡(luò)模型對(duì)比
4．3．6遷移學(xué)習(xí)
4．4圖像識(shí)別項(xiàng)目實(shí)戰(zhàn)
4．5本章小結(jié)
4．6習(xí)題
第5章輕量級(jí)DCNN模型
5．1MobileNet系列
5．1．1MobileNet V1
5．1．2MobileNet V2
5．1．3MobileNet V3
5．2ShuffleNet系列
5．2．1ShuffleNet V1
5．2．2ShuffleNet V2
5．3輕量級(jí)DCNN模型對(duì)比
5．4項(xiàng)目實(shí)戰(zhàn)
5．4．1MobileNet V3模型構(gòu)建
5．4．2ShuffleNet V2模型構(gòu)建
5．5本章小結(jié)
5．6習(xí)題
第6章深度學(xué)習(xí)模型輕量化方法及實(shí)現(xiàn)
6．1網(wǎng)絡(luò)模型剪枝
6．1．1基本原理
6．1．2網(wǎng)絡(luò)模型的剪枝分類
6．1．3剪枝標(biāo)準(zhǔn)
6．1．4剪枝流程
6．1．5代碼實(shí)現(xiàn)
6．2參數(shù)量化
6．2．1基本原理
6．2．2參數(shù)量化算法的分類
6．2．3參數(shù)量化流程
6．2．4代碼實(shí)現(xiàn)
6．3知識(shí)蒸餾法
6．3．1基本原理
6．3．2知識(shí)蒸餾算法流程
6．3．3代碼實(shí)現(xiàn)
6．4本章小結(jié)
6．5習(xí)題
第7章AI模型的硬件部署
7．1開(kāi)放神經(jīng)網(wǎng)絡(luò)交換(ONNX)格式
7．1．1ONNX模型
7．1．2Torch模型轉(zhuǎn)ONNX模型實(shí)例
7．1．3ONNX 工作原理
7．1．4ONNX模型推理
7．1．5推理速度對(duì)比
7．2Intel系列芯片部署方法
7．2．1OpenVINO的簡(jiǎn)介
7．2．2OpenVINO的安裝
7．2．3OpenVINO工作流程
7．2．4OpenVINO推理示例
7．3NVIDIA系列芯片部署方法
7．3．1TensorRT的簡(jiǎn)介
7．3．2TensorRT的安裝
7．3．3TensorRT模型轉(zhuǎn)換
7．3．4部署TensorRT模型
7．4本章小結(jié)
7．5習(xí)題
書(shū)單推薦
