本書(shū)重點(diǎn)在深度機(jī)器學(xué)習(xí)框架下，圍繞上述關(guān)鍵問(wèn)題，對(duì)筆者的研究經(jīng)歷、研究成果和研究結(jié)論進(jìn)行總結(jié)和歸納，主要內(nèi)容如下：
章主要介紹感知用戶界面(perceptual user interface，PUI)以及感知計(jì)算(perceptual computing)概念的提出和歷史發(fā)展，以及在感知計(jì)算語(yǔ)境下，基于表面肌電的手勢(shì)識(shí)別(下文中簡(jiǎn)稱為肌電手勢(shì)識(shí)別)技術(shù)相比其他手勢(shì)識(shí)別技術(shù)的特點(diǎn)和優(yōu)缺點(diǎn)，由此引出筆者的主要研究問(wèn)題和本書(shū)主要架構(gòu)。
第二章描述表面肌電信號(hào)的產(chǎn)生機(jī)理，并對(duì)基于表面肌電的手勢(shì)識(shí)別技術(shù)進(jìn)行綜述。
第三章基于手勢(shì)動(dòng)作與肌群產(chǎn)生的肌電信號(hào)的關(guān)聯(lián)性假設(shè)，介紹一種面向肌電手勢(shì)識(shí)別的多流融合深度學(xué)習(xí)方法，對(duì)前臂肌電信號(hào)生成的肌電圖像進(jìn)行多流表征，將得到的多個(gè)子圖像分別輸入多流卷積神經(jīng)網(wǎng)絡(luò)各個(gè)分支中進(jìn)行建模，之后通過(guò)特征層多流融合，把多個(gè)分支學(xué)習(xí)到的深度特征融合在一起。在不同肌電數(shù)據(jù)集上的結(jié)果表明，在多流融合深度學(xué)習(xí)框架下對(duì)前臂不同肌群的肌電信號(hào)進(jìn)行關(guān)聯(lián)性建模，可以有效提高肌電手勢(shì)識(shí)別的準(zhǔn)確率。
第四章介紹了一種面向肌電手勢(shì)識(shí)別的多視圖深度學(xué)習(xí)方法，從稀疏多通道肌電信號(hào)中提取多個(gè)經(jīng)典特征集構(gòu)建為肌電信號(hào)不同視圖的數(shù)據(jù)，然后通過(guò)一個(gè)深度學(xué)習(xí)框架下的視圖選擇過(guò)程，選取具有較優(yōu)手勢(shì)識(shí)別性能的視圖，將其數(shù)據(jù)輸入多視圖卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行建模。相比單視圖學(xué)習(xí)，多視圖學(xué)習(xí)可以充分利用原始數(shù)據(jù)多個(gè)視圖下的信息，從而帶來(lái)性能的提升。
第五章主要介紹肌電手勢(shì)識(shí)別中的領(lǐng)域偏移問(wèn)題，并介紹一種面向肌電手勢(shì)識(shí)別系統(tǒng)的無(wú)監(jiān)督領(lǐng)域自適應(yīng)算法，以及其對(duì)筆者所提出不同深度神經(jīng)網(wǎng)絡(luò)模型在會(huì)話間或被試間手勢(shì)識(shí)別測(cè)試時(shí)性能的影響。
第六章對(duì)本書(shū)內(nèi)容進(jìn)行了總結(jié)，并對(duì)未來(lái)相關(guān)研究工作進(jìn)行展望。