序 言
深度學(xué)習(xí)已經(jīng)風(fēng)靡人工智能領(lǐng)域,幾乎滲透到各個(gè)商業(yè)應(yīng)用當(dāng)中。由于現(xiàn)在幾乎所有內(nèi)容和交易都以數(shù)字格式記錄,因此可通過機(jī)器學(xué)習(xí)算法探索大量數(shù)據(jù)。然而,傳統(tǒng)的機(jī)器學(xué)習(xí)技術(shù)很難探索這種所謂的大數(shù)據(jù)中出現(xiàn)的錯(cuò)綜復(fù)雜的關(guān)系。對于諸如圖像、語音和文本之類的非結(jié)構(gòu)化數(shù)據(jù),尤其困難。
深度學(xué)習(xí)算法具有非常強(qiáng)的學(xué)習(xí)能力,可以應(yīng)對分析巨大數(shù)據(jù)流的挑戰(zhàn)。此外,深度神經(jīng)網(wǎng)絡(luò)相對于其他人工智能技術(shù),需要很少(如果有的話)的特征工程,就可以從頭到尾進(jìn)行訓(xùn)練。深度學(xué)習(xí)算法的另一個(gè)優(yōu)點(diǎn)是僅需要最少的監(jiān)督架構(gòu)(換句話說,這些架構(gòu)可以自動(dòng)從數(shù)據(jù)中學(xué)習(xí)幾乎不需要人為干預(yù))。這些架構(gòu)是弱監(jiān)督學(xué)習(xí),即所謂“無監(jiān)督”。最后,深度學(xué)習(xí)可以當(dāng)作生成過程進(jìn)行訓(xùn)練,其算法不是將輸入映射到輸出,而是學(xué)習(xí)如何從純噪聲(即生成對抗網(wǎng)絡(luò))生成輸入和輸出。想象一下,從幾百個(gè)隨機(jī)數(shù)組合中,生成梵高的畫作、汽車,甚至是人臉。這是多么神奇的事情!
谷歌語言翻譯服務(wù)、Alexa語音識(shí)別和自動(dòng)駕駛汽車均采用深度學(xué)習(xí)算法。其他相關(guān)領(lǐng)域也嚴(yán)重依賴深度學(xué)習(xí)算法,例如語音合成、新藥研發(fā)及面部辨別和識(shí)別等。即使在創(chuàng)意領(lǐng)域,如音樂、繪畫和寫作,也開始被這項(xiàng)技術(shù)所顛覆。事實(shí)上,深度學(xué)習(xí)算法在經(jīng)濟(jì)中創(chuàng)造出了深刻的轉(zhuǎn)型升級,這可能引發(fā)人類所見過的最大變革之一。
由于免費(fèi)、強(qiáng)大的計(jì)算框架和API(如Keras和TensorFlow)的傳播,運(yùn)行模型的廉價(jià)云服務(wù)以及數(shù)據(jù)的便捷可用性,任何人都可以在幾小時(shí)內(nèi)在家中運(yùn)行深度學(xué)習(xí)模型。這種“平民化”就解釋了為什么對深度學(xué)習(xí)感興趣的人數(shù)呈爆炸性增長,以及在開放格式Arxiv和NIPS等專業(yè)頂級會(huì)議上呈現(xiàn)的眾多突破的原因。
本書巧妙地通過抽象數(shù)學(xué)技能探索各種深度學(xué)習(xí)算法,講解了計(jì)算機(jī)視覺、自然語言處理、強(qiáng)化學(xué)習(xí)和無監(jiān)督深度學(xué)習(xí)等深度學(xué)習(xí)領(lǐng)域的具體商業(yè)應(yīng)用的案例。本書面向中級和高級專業(yè)人員以及對機(jī)器學(xué)習(xí)有基本了解的入門級專業(yè)人員。讀者可以通過深入理解業(yè)務(wù)應(yīng)用程序,了解有關(guān)各個(gè)領(lǐng)域未來發(fā)展的應(yīng)用示例。
本書簡要介紹了整個(gè)深度學(xué)習(xí)領(lǐng)域的最新算法,其主要目的為使算法更為實(shí)用:解釋和說明在幾個(gè)應(yīng)用領(lǐng)域中使用的一些重要的深度學(xué)習(xí)算法,特別是對核心業(yè)務(wù)有重大影響的深度學(xué)習(xí)算法。本書面向那些想要了解深度學(xué)習(xí)以及如何將其用于開發(fā)商務(wù)應(yīng)用的人,旨在為從業(yè)人員提供實(shí)用有效的實(shí)施方法。書中過濾掉了令人無所適從的統(tǒng)計(jì)學(xué)和線性代數(shù)推導(dǎo),為讀者提供了如何為商業(yè)模式制作簡單動(dòng)手工具的方法和技巧。
本書首先介紹了深度學(xué)習(xí)架構(gòu),并給出了簡要?dú)v史背景。接下來介紹了深度學(xué)習(xí)的最先進(jìn)實(shí)例,與傳統(tǒng)的機(jī)器學(xué)習(xí)算法相比,其具有更好的應(yīng)用前景。書中涵蓋了推薦系統(tǒng)和自然語言處理的應(yīng)用,包括能夠捕捉語言翻譯模型豐富性的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)。最后介紹了研究深度學(xué)習(xí)模型在金融風(fēng)險(xiǎn)評估、控制和機(jī)器人技術(shù)及圖像識(shí)別中的應(yīng)用。在書中,你可以了解到產(chǎn)品中采用該技術(shù)的關(guān)鍵公司和初創(chuàng)公司,還可以找到有用的鏈接以及一些關(guān)于如何使用Keras和Python中的一些實(shí)際的代碼示例和訓(xùn)練深度學(xué)習(xí)模型的示例、技巧和見解。
譯者序
1992年離開清華園,也離開當(dāng)時(shí)很有產(chǎn)業(yè)應(yīng)用前景的通信行業(yè), 進(jìn)入語音識(shí)別這個(gè)前沿研究領(lǐng)域, 沒考慮太多的就業(yè)前景, 因?yàn)槟菚r(shí)沒聽說過互聯(lián)網(wǎng),更別說人工智能產(chǎn)業(yè)了,只是覺得語音識(shí)別更有趣,在智力上的挑戰(zhàn)也更大。
27年后, 剛剛在一家國內(nèi)上市公司完成一個(gè)“人工智能、機(jī)器換人”項(xiàng)目后,就離開這家上市公司的創(chuàng)新研究院院長職位,開始一家“人工智能+音樂教育”的創(chuàng)業(yè)公司,回顧這些年的所見所聞,感慨萬千。
剛開始, 語音識(shí)別和圖像處理是不同的行當(dāng), 模式識(shí)別和專家系統(tǒng)也是比較遠(yuǎn)的門類, 那時(shí)很少有人把它們統(tǒng)稱為人工智能, 因?yàn)閷?shí)在太難了, 每個(gè)細(xì)分行當(dāng)?shù)墓ぞ卟顒e都很大,很少有人能同時(shí)精通這幾個(gè)門類。 經(jīng)歷了近60年艱苦跋涉后, 很多“AI人才”轉(zhuǎn)行進(jìn)入互聯(lián)網(wǎng)、基因測序和電子產(chǎn)品研發(fā)領(lǐng)域。2012年后,深度神經(jīng)網(wǎng)絡(luò)技術(shù)借助GPU 和互聯(lián)網(wǎng)大數(shù)據(jù),在語音識(shí)別和圖像識(shí)別等領(lǐng)域首度超越了人的識(shí)別能力, 人工智能產(chǎn)業(yè)的革命真正到來了!
常常有人問我:“有了人工智能會(huì)怎樣?”我建議他這樣思考:“在1900年, 人們會(huì)問有了電會(huì)怎樣? 站在21世界的你該怎樣回答?”20世紀(jì)這一百年最重要的技術(shù)要素是電,人們現(xiàn)在不會(huì)再大規(guī)模從事“洗衣工”這樣的職業(yè)。因?yàn)橛辛穗?無論是黃昏還是黑夜,人們都可以更多地工作、學(xué)習(xí)、娛樂,創(chuàng)新了不計(jì)其數(shù)的新職業(yè),生活品質(zhì)大大提升。
21世紀(jì)的最大技術(shù)要素?zé)o疑是人工智能,產(chǎn)線工人、司機(jī)或物流人員、保安等職業(yè)將逐漸消失,就像100年前的洗衣工人,同時(shí)又有難以置信的無數(shù)新行業(yè)被“發(fā)明”出來,21世紀(jì)末的生活精彩程度是現(xiàn)在難以想象的。
無論你現(xiàn)在有什么技能,從事什么行業(yè),在21世紀(jì)的生存發(fā)展都要求你具備“人工智能場景思維”,在各個(gè)場景里,人工智能做什么,人做什么,如何分工配合。這就是我們選擇翻譯推出這本《深度學(xué)習(xí)深度學(xué)習(xí)商業(yè)應(yīng)用開發(fā)指南———從對話機(jī)器人到醫(yī)療圖像處理》的原因,這里涉及的場景包括圖像分割、圖像識(shí)別、圖像標(biāo)題、視覺問答、視頻分析、衛(wèi)星圖像處理、知識(shí)圖譜、自然語言翻譯、多模態(tài)學(xué)習(xí)、語音識(shí)別、機(jī)器人控制、自動(dòng)駕駛、對話機(jī)器人、電子商務(wù)推薦算法、棋類游戲、電子游戲、圖畫風(fēng)格轉(zhuǎn)化、音樂處理、信用卡防詐騙、金融預(yù)測、醫(yī)療圖像識(shí)別、新藥發(fā)現(xiàn)、法務(wù)、數(shù)據(jù)中心管理等幾十種應(yīng)用。圍繞這些應(yīng)用場景,對具體的算法和技術(shù)也做了詳細(xì)討論。
本書適合各類各級企業(yè)管理者、產(chǎn)品經(jīng)理、軟硬件工程師、測試人員閱讀,也適用于人工智能培訓(xùn)班、大學(xué)生創(chuàng)新創(chuàng)業(yè)實(shí)戰(zhàn)訓(xùn)練、研究生課題演練、程序員實(shí)力提升使用。
本書的出版得益于北京航空航天大學(xué)出版社的推薦以及北航軟件學(xué)院研究生邱國慶、李文意的辛勤付出,在此一并表示感謝。
由于人工智能是近年來快速發(fā)展、迭代演變的領(lǐng)域,對于一些術(shù)語也有不同的譯法,我們盡量多方考證,選用在國內(nèi)最為普遍的術(shù)語譯法。
兩位譯者對全書做了三遍校對,盡管如此,錯(cuò)誤仍然在所難免, 如果讀者發(fā)現(xiàn)錯(cuò)誤或不妥之處,可以給我們發(fā)郵件,我們將在再版時(shí)修訂,感謝您的參與和指正。衷心祝愿您能擁抱人工智能時(shí)代,具備人工智能場景思維,更好地服務(wù)他人,為社會(huì)創(chuàng)造更多財(cái)富,也讓您和您的家人擁有更美好的未來。
譯 者
2018年6月于蘇州科技城
第一部分 背景和基礎(chǔ)知識(shí)
第1章 緒 論
1.1 范圍和動(dòng)機(jī)
1.2 深度學(xué)習(xí)領(lǐng)域的挑戰(zhàn)
1.3 目標(biāo)受眾
1.4 本書結(jié)構(gòu)
第2章 深度學(xué)習(xí)概述
2.1 冬去春來
2.2 為什么DL不同?
2.2.1 機(jī)器時(shí)代
2.2.2 對DL的一些批評
2.3 資 源
2.3.1 圖 書
2.3.2 簡 訊
2.3.3 博 客
2.3.4 在線視頻和課程
2.3.5 播 客
2.3.6 其他網(wǎng)絡(luò)資源
2.3.7 從一些不錯(cuò)的地方開始學(xué)習(xí)
2.3.8 會(huì) 議
2.3.9 其他資源
2.3.10 DL框架
2.3.11 DL即服務(wù)(DLAS,DL As a Service)
2.4 最近的發(fā)展
2.4.1 2016年
2.4.2 2017年
2.4.3 演化算法
2.4.4 創(chuàng)造力
第3章 深度神經(jīng)網(wǎng)絡(luò)模型
3.1 神經(jīng)網(wǎng)絡(luò)簡史
3.1.1 多層感知器
3.2 什么是深度神經(jīng)網(wǎng)絡(luò)
3.3 玻耳茲曼機(jī)器
3.3.1 受限玻耳茲曼機(jī)器
3.3.2 深度信念網(wǎng)絡(luò)
3.3.3 深度玻耳茲曼機(jī)器
3.4 卷積神經(jīng)網(wǎng)絡(luò)
3.5 深度自動(dòng)編碼器
3.6 遞歸神經(jīng)網(wǎng)絡(luò)
3.6.1 強(qiáng)化學(xué)習(xí)的RNN
3.6.2 LSTM
3.7 生成模型
3.7.1 變分自動(dòng)編碼器
3.7.2 生成性對抗網(wǎng)絡(luò)
第二部分 深度學(xué)習(xí):核心應(yīng)用
第4章 圖像處理
4.1 CNN 圖像處理模型
4.2 ImageNet及其他
4.3 圖像分割
4.4 圖像標(biāo)題
4.5 視覺問答(VQA)
4.6 視頻分析
4.7 GAN 和生成模型
4.8 其他應(yīng)用
4.8.1 衛(wèi)星圖像
4.9 新聞和公司
4.10 第三方工具和API
第5章 自然語言處理及語音
5.1 解 析
5.2 分布式表示
5.3 知識(shí)表示與知識(shí)圖譜
5.4 自然語言翻譯
5.5 其他應(yīng)用
5.6 多模態(tài)學(xué)習(xí)與問答
5.7 語音識(shí)別
5.8 新聞與資源
5.9 總結(jié)與思考展望
第6章 強(qiáng)化學(xué)習(xí)和機(jī)器人
6.1 什么是強(qiáng)化學(xué)習(xí)
6.2 傳統(tǒng)的RL
6.3 DNN 強(qiáng)化學(xué)習(xí)
6.3.1 確定性政策梯度
6.3.2 深層確定性政策梯度
6.3.3 深度Q 學(xué)習(xí)
6.3.4 Actor Critic算法
6.4 機(jī)器人與控制
6.5 自動(dòng)駕駛汽車
6.6 會(huì)話機(jī)器人(聊天機(jī)器人)
6.7 新聞聊天機(jī)器人
6.8 應(yīng) 用
6.9 展 望
6.10 自動(dòng)駕駛汽車的相關(guān)新聞
第三部分 深度學(xué)習(xí):商務(wù)應(yīng)用
第7章 推薦算法和電子商務(wù)
7.1 在線用戶行為
7.2 重新定向
7.3 推薦算法
7.3.1 協(xié)同過濾器
7.3.2 RS的深度學(xué)習(xí)算法
7.3.3 Item2Vec
7.4 推薦算法的應(yīng)用
7.5 未來發(fā)展方向
第8章 游戲和藝術(shù)
8.1 早期的國際象棋
8.2 從國際象棋到圍棋
8.3 其他游戲和新聞
8.3.1 Doom
8.3.2 Dota
8.3.3 其他應(yīng)用
8.4 人造角色
8.5 藝術(shù)中的應(yīng)用
8.6 音 樂
8.7 多模態(tài)學(xué)習(xí)
8.8 其他應(yīng)用
第9章 其他應(yīng)用
9.1 異常檢測與欺詐
9.1.1 欺詐預(yù)防
9.1.2 網(wǎng)上評論的欺詐行為
9.2 安保及防范
9.3 預(yù) 測
9.3.1 交易和對沖基金
9.4 醫(yī)學(xué)和生物醫(yī)學(xué)
9.4.1 圖像處理醫(yī)學(xué)圖像
9.4.2 生物組學(xué)
9.4.3 藥物發(fā)現(xiàn)
9.5 其他應(yīng)用
9.5.1 用戶體驗(yàn)
9.5.2 大數(shù)據(jù)
9.6 未 來
第四部分 機(jī)遇與展望
第10章 深度學(xué)習(xí)技術(shù)的商務(wù)影響
10.1 深度學(xué)習(xí)機(jī)會(huì)
10.2 計(jì)算機(jī)視覺
10.3 AI助手
10.4 法 律
10.5 放射學(xué)和醫(yī)學(xué)圖像
10.6 自動(dòng)駕駛汽車
10.7 數(shù)據(jù)中心
10.8 利用DL建立競爭優(yōu)勢
10.9 人 才
10.10 光有準(zhǔn)確度還不夠
10.11 風(fēng) 險(xiǎn)
10.12 當(dāng)個(gè)人助理變得比我們好
第11章 新近研究和未來方向
11.1 研 究
11.1.1 注意機(jī)制
11.1.2 多模式學(xué)習(xí)
11.1.3 一次性學(xué)習(xí)
11.1.4 強(qiáng)化學(xué)習(xí)和推理
11.1.5 生成神經(jīng)網(wǎng)絡(luò)
11.1.6 生成性對抗神經(jīng)網(wǎng)絡(luò)
11.1.7 知識(shí)轉(zhuǎn)移和學(xué)會(huì)學(xué)習(xí)
11.2 何時(shí)不使用深度學(xué)習(xí)
11.3 新 聞
11.4 人工智能在社會(huì)中的倫理和啟示
11.5 AI中的隱私和公共政策
11.6 初創(chuàng)公司和風(fēng)險(xiǎn)投資
11.7 未 來
11.7.1 用較少的數(shù)據(jù)學(xué)習(xí)
11.7.2 轉(zhuǎn)移學(xué)習(xí)
11.7.3 多任務(wù)學(xué)習(xí)
11.7.4 對抗性學(xué)習(xí)
11.7.5 少量學(xué)習(xí)
11.7.6 元學(xué)習(xí)
11.7.7 神經(jīng)推理
附錄A 用Keras訓(xùn)練DNN
A.1 Keras框架
A.1.1 在Linux中安裝Keras/
A.1.2 模 型
A.1.3 核心層
A.1.4 損失函數(shù)
A.1.5 培訓(xùn)和測試
A.1.6 回 調(diào)
A.1.7 編譯和擬合
A.2 深度和寬度模型
A.3 用于圖像分割的FCN
A.3.1 序列到序列
A.4 多層感知器的反向傳播
參考文獻(xiàn)