惡劣環(huán)境降質(zhì)圖像增強的主要目的是提高采集圍像的質(zhì)量和可辨識度,從而使智能視頻監(jiān)控系統(tǒng)更有利于觀察或進行下一步的智能分析處理,由于計算機對圖像的理解能力極度依賴輸入圖像的質(zhì)量,因此圖像質(zhì)量增強技術目前已廣泛應用于計算機視覺任務的預處理中,具有重要的理論研究意義和實際應用前景。本書立足智能視頻監(jiān)控系統(tǒng)的實際需求,針對霧、雨天氣條件下的圖像質(zhì)量退化問題,系統(tǒng)介紹了圖像去霧、圖像去雨相關研究成果,詳細討論了基于深度學習的惡劣環(huán)境降質(zhì)圖像增強方法。本書系統(tǒng)介紹了相關方法的研究背景、理論基礎和算法描述,并給出了相應的實驗結(jié)果,主要內(nèi)容包括:霧、雨形成機理,數(shù)學模型以及圖像去霧,圖像去雨研究現(xiàn)狀(第1章);圖像去霧典型算法及常用數(shù)據(jù)集(第2章):圖像去雨典型算法及常用數(shù)據(jù)集(第3章):基于深度學習的圖像去霧算法(第4~7章):圖像去雨算法(第8章)等。本書是計算機圖像處理方面的專著,反映了作者近年來在這一領域的主要研究成果本書內(nèi)容新穎、結(jié)構(gòu)清晰、語言簡練,可作為大專院校及科研院所模式識別、圖像處理和機器視覺等領域的高年級本科生、研究生的教材和參考書,也可作為相關領域的教師、科研人員以及從事圖像恢復、圖像增強工程技術人員的參考書。
前言
由于當前安全形勢的日益嚴峻以及軍事斗爭的迫切需要,利用先進前沿的計算機視覺技術實現(xiàn)監(jiān)控視頻數(shù)據(jù)的智能感知、智能決策等智能化分析,對提供高效、準確、實時的監(jiān)控服務,增強安全性、提高效率和優(yōu)化資源利用具有重要意義。智能視頻監(jiān)控系統(tǒng)能夠解決人員因長時間、高強度關注監(jiān)控畫面而產(chǎn)生的視覺疲勞,有效降低錯檢、漏檢情況發(fā)生的可能性。上述智能視頻監(jiān)控系統(tǒng)功能實現(xiàn)的基礎條件是監(jiān)控視頻數(shù)據(jù)的準確感知,然而由于計算機尚不具備人腦強大的信息推理能力,因此智能視頻監(jiān)控系統(tǒng)對場景內(nèi)容的理解程度極大依賴于采集視頻(圖像)的質(zhì)量,然而戶外視覺傳感器由于常年受到雨等環(huán)境影響,導致采集視頻出現(xiàn)多種退化降質(zhì)現(xiàn)象。例如:在霧霾天氣下空氣中的懸浮粒子對光線傳播產(chǎn)生折射和散射作用,使視覺傳感器采集的圖像呈灰白色,導致物體特征難以辨認;在大雨條件下,雨水快速下落和聚集形成雨紋,導致視覺傳感器采集圖像的部分區(qū)域被遮擋。上述圖像降質(zhì)現(xiàn)象嚴重影響著智能視頻監(jiān)控系統(tǒng)對監(jiān)控視頻數(shù)據(jù)的準確感知,然而當前技術水平尚無法從硬件層面對上述圖像降質(zhì)現(xiàn)象進行處理,為此在現(xiàn)有視覺傳感器的基礎上如何利用計算機視覺、機器學習等技術手段,實現(xiàn)霧、雨等惡劣環(huán)境下降質(zhì)圖像質(zhì)量的增強處理,從而提升視覺傳感器的抗于擾能力和在高級視覺任務中的智能化應用效果,具有重要的研究意義和廣闊的應用前景。
目前深度學習已成為惡劣環(huán)境降質(zhì)圖像增強領域的主要研究方向,該類方法以神經(jīng)網(wǎng)絡為基礎架構(gòu),采用數(shù)據(jù)驅(qū)動方式學習降質(zhì)圖像與清晰圖像之間的非線性映射關系,從而將降質(zhì)圖像轉(zhuǎn)換為高質(zhì)量圖像,有效避免了傳統(tǒng)圖像增強方法因引人人工先驗而導致的人為誤差。鑒于此,本書立足于智能視頻監(jiān)控系統(tǒng)的實際需求,針對圖像去霧、圖像去雨相關理論,系統(tǒng)介紹了圖像去霧圖像去雨近二十年的發(fā)展情況,包括傳統(tǒng)圖像去霧、圖像去雨方法以及當前主流基于深度學習的圖像去霧、圖像去雨方法等,并重點闡述了筆者的相關工作。
全書共分為8章。第1章主要介紹霧、雨形成機理、數(shù)學模型,以及圖像去霧、圖像去雨相關研究現(xiàn)狀;第2章主要介紹傳統(tǒng)圖像去霧和深度學習圖像去霧的代表性算法,以及圖像去霧算法廣泛使用的數(shù)據(jù)集和評價指標等:第3章主要介紹傳統(tǒng)圖像去雨和深度學習圖像去雨的代表性算法,以及圖像去雨算法廣泛使用的數(shù)據(jù)集和評價指標等:第4~7章介紹作者在圖像去霧領域的相關研究工作,包括基于遞歸卷積的多尺度深度圖像去霧算法、基于先驗信息引導的多編碼器圖像去霧算法、基于物理模型引導的多解碼器圖像去霧算法、基于物理分解的弱監(jiān)督圖像去霧算法等:第8章介紹作者在圖像去雨領域的相關研究工作,即基于多階段特征融合的圖像去雨算法。
本書由崔智高擬訂全書的大綱和撰寫第1~3章,并對全書進行統(tǒng)稿、修改和定稿,由王念執(zhí)筆第4、5章,蘇延召執(zhí)筆第6、7章,蘭云偉執(zhí)筆第8章。本書在著述過程中得到了火箭軍工程大學機關、機電教研室的支持和幫助,在此一并表示感謝。
由于圖像去霧、圖像去雨相關研究更新速度快,加之作者水平有限,本書難免存在不妥之處,謹請讀者指正。
作 者
2024年9月于西安
第1章緒論
1.1智能視頻監(jiān)控技術
1.1.1視頻監(jiān)控技術發(fā)展階段
1.1.2典型視頻監(jiān)控系統(tǒng)
1.2圖像質(zhì)量增強技術
1.2.1圖像去霧技術
1.2.2圖像去雨技術
1.3本書內(nèi)容安排
參考文獻
第2章圖像去霧典型算法及常用數(shù)據(jù)集
2.1基于暗通道先驗的圖像去霧算法
2.2監(jiān)督學習圖像去霧算法
2.2.1DCPDN
2.2.2ACRE
2.2.3SID
2.3弱監(jiān)督圖像去霧算法
2.3.1CycleGAN方法
2.3.2物理分解方法
2.4圖像去霧常用數(shù)據(jù)集
2.5圖像去霧常用評價指標
參考文獻
第3章圖像去雨典型算法及常用數(shù)據(jù)集
3.1基于混合高斯模型的圖像去雨算法
3.2基于深度學習的圖像去雨算法
3.2.1監(jiān)督學習圖像去雨算法
3.2.2半監(jiān)督學習圖像去雨算法
3.3圖像去雨常用數(shù)據(jù)集
3.4圖像去雨常用評價指標
參考文獻
第4章基于遞歸卷積的多尺度深度圖像去霧算法
4.1算法總體框架
4.2算法具體實現(xiàn)
4.2.1遞歸特征提取模塊
4.2.2多尺度特征融合模塊
4.2.3損失函數(shù)
4.3實驗結(jié)果及其分析
4.3.1實驗設置
4.3.2合成數(shù)據(jù)集實驗結(jié)果
4.3.3真實霧天圖像實驗結(jié)果
參考文獻
第5章基于先驗信息引導的多編碼器圖像去霧算法
5.1基于自適應通道融合的圖像去霧算法
5.1.1算法總體框架
5.1.2SAGFA模塊
5.1.3SE模塊
5.1.4損失函數(shù)
5.2基于特征調(diào)制的圖像去霧算法
5.2.1算法總體框架
5.2.2自適應批歸一化
5.2.3優(yōu)化模塊
5.2.4損失函數(shù)
5.3實驗結(jié)果及其分析
5.3.1實驗設置
5.3.2IHAZE和OHAZE數(shù)據(jù)集實驗結(jié)果
5.3.3NHHAZE數(shù)據(jù)集實驗結(jié)果
5.3.4定量比較與分析
參考文獻
第6章基于物理模型引導的多解碼器圖像去霧算法
6.1算法總體框架
6.2算法具體實現(xiàn)
6.2.1多尺度特征提取與融合模塊
6.2.2注意力模塊
6.2.3多尺度監(jiān)督模塊
6.2.4損失函數(shù)
6.3實驗結(jié)果及其分析
6.3.1實驗設置
6.3.2HAZERD數(shù)據(jù)集實驗結(jié)果
6.3.3DAHAZE數(shù)據(jù)集實驗結(jié)果
參考文獻
第7章基于物理分解的弱監(jiān)督圖像去霧算法
7.1算法總體框架
7.2算法具體實現(xiàn)
7.2.1DWD判別器
7.2.2DWT特征提取
7.2.3損失函數(shù)
7.3實驗結(jié)果及其分析
7.3.1實驗設置
7.3.2合成數(shù)據(jù)集對比結(jié)果
7.3.3真實數(shù)據(jù)集對比結(jié)果
參考文獻
第8章基于多階段特征融合的圖像去雨算法
8.1算法總體框架
8.2算法具體實現(xiàn)
8.2.1淺特征提取模塊
8.2.2改進的編碼-解碼器
8.2.3剩余密集子網(wǎng)
8.2.4階段特征的漸進融合
8.2.5損失函數(shù)
8.3實驗結(jié)果及其分析
8.3.1實驗設置
8.3.2實驗結(jié)果
參考文獻