《深度學習基礎教程》是真正適合深度學習初學者的入門書籍,全書沒有任何復雜的數(shù)學推導!渡疃葘W習基礎教程》首先介紹了深度學習的優(yōu)勢和面臨的挑戰(zhàn)、深度學習采用深層架構的動機、學習深度學習需要的數(shù)學知識和硬件知識以及深度學習常用的軟件框架。然后對多層感知機、卷積神經網絡(CNN)、受限玻耳茲曼機(RBM)、循環(huán)神經網絡(RNN)及其變體—長短時記憶(LSTM)網絡進行了詳細介紹,并且以獨立章節(jié)重點闡述了CNN在計算機視覺中的應用、RNN在自然語言處理中的應用以及深度學習在多模態(tài)學習領域中的應用。隨后,本書介紹了深度強化學習的基本知識,給出了應用深度學習技術需要的許多實用技巧并概述了深度學習的一些新方向和新應用。
1.本書作者都是來自工業(yè)界的一線數(shù)據(jù)科學家,在世界知名公司如領英、谷歌、eBay、索尼等工作多年,具有深厚的理論功底和豐富的實踐經驗。2.本書是真正適合深度學習初學者的入門書籍,全書沒有任何復雜的數(shù)學推導。即便數(shù)學基礎不好的讀者,也可以輕松地閱讀本書。3.為開始學習深度學習和神經網絡建模的基本知識提供一站式解決方案。4.訓練不同類型的神經網絡,以解決自然語言處理、計算機視覺和語音識別等領域中的各種問題。5.涵蓋流行的Python庫,如Tensorflow等,以及以佳方式訓練、部署和優(yōu)化深度學習模型的技巧。6.不同于市面上的深度學習書籍,本書首次對深度學習在多模態(tài)領域中的應用進行了專門的介紹。7.對深度強化學習、深度學習發(fā)展趨勢(如GAN、Capsule網絡)也進行了介紹。
深度學習是科技界最具突破性的發(fā)展趨勢,已經跨越研發(fā)實驗室應用到生產環(huán)境中。它是通過數(shù)據(jù)的多個隱藏層進行深入洞察的科學和藝術。目前,深度學習是圖像識別、物體識別和自然語言處理(NLP)問題解決方案的最佳提供者之一。 從溫習機器學習開始,《深度學習基礎教程》將快速地進入深度學習的基本原理及其實現(xiàn)。隨后,將向讀者介紹不同類型的神經網絡及其在現(xiàn)實世界中的應用。在具有啟發(fā)性示例的幫助下,讀者將學習使用深層神經網絡識別模式,并了解數(shù)據(jù)操作和分類等重要概念。 采用基于深度學習的強化學習技術,將可以構建超越人類的人工智能(AI)。另外,將學習如何使用LSTM網絡。閱讀《深度學習基礎教程》的過程中,將遇到各種不同的框架和庫,如TensorFlow、Python和Nvidia等。在本書的最后,讀者將能夠為自己的應用部署一個面向生產的深度學習框架。讀者對象 如果你是一個希望為自己的商業(yè)應用構建深度學習動力的富有抱負的數(shù)據(jù)科學家、深度學習愛好者或人工智能研究人員,那么本書能夠成為你開始處理人工智能挑戰(zhàn)的完美資源。 為了充分利用本書,你必須具備中級Python技能,并且熟悉機器學習概念!渡疃葘W習基礎教程》內容 第1章是為什么進行深度學習,對深度學習進行了概述。本章將首先介紹深度學習的歷史、興起及其在一些領域的最新進展。隨后還將介紹深度學習的一些挑戰(zhàn)及其未來潛力。 第2章是為深度學習做準備,是培養(yǎng)自己進行深度學習實驗并在現(xiàn)實世界中應用深度學習技術的起點。本章將回答關于深度學習入門所需技能和概念的一些關鍵問題。本章內容包括線性代數(shù)的一些基本概念、深度學習實現(xiàn)的硬件要求,以及一些主流的深度學習軟件框架。本章還將研究在基于云的GPU實例上從零開始搭建一個深度學習系統(tǒng)。 第3章是神經網絡入門,重點介紹神經網絡的基本知識,包括輸入/輸出層、隱藏層,以及網絡如何通過前向和反向傳播進行學習。本章將從標準多層感知機網絡及其構建模塊開始,說明它們是如何逐步學習的。隨后還將介紹一些主流的標準模型,如卷積神經網絡(CNN)、受限玻耳茲曼機(RBM)、循環(huán)神經網絡(RNN)及其變體——長短時記憶(LSTM)網絡。 第4章是計算機視覺中的深度學習,對CNN進行了詳細解釋。本章將講解CNN工作所必需的核心概念以及它們如何被用來解決現(xiàn)實世界中的計算機視覺問題。本章將介紹一些主流的CNN架構,并且還將使用TensorFlow實現(xiàn)一個基本的CNN。 第5章是自然語言處理中的向量表示,涵蓋了基于深度學習進行自然語言處理的基礎知識。本章將介紹自然語言處理中一些主流的用于特征表示的詞嵌入技術,涵蓋的模型有Word2Vec、GloVe和FastText等。本章還包括一個使用TensorFlow進行嵌入訓練的示例。 第6章是高級自然語言處理,采用以模型為中心的方法進行文本處理。本章將討論一些核心模型,如RNN和LSTM網絡。本章將介紹使用TensorFlow實現(xiàn)一個LSTM網絡的示例,并描述LSTM網絡常用文本處理應用背后的基本架構。 第7章是多模態(tài),介紹了采用深度學習處理多模態(tài)的一些基本進展。本章也分享了一些新穎、先進的深度學習多模態(tài)應用。 第8章是深度強化學習,涵蓋了強化學習的基礎知識,同時闡述了怎樣應用深度學習改進強化學習。本章主要介紹了使用TensorFlow進行深度強化學習的基本實現(xiàn),并討論了深度強化學習的一些主流應用。 第9章是深度學習的技巧,為讀者提供了在使用深度學習時可以采用的許多實用技巧,如網絡權值初始化的最佳實踐、學習參數(shù)調整、如何防止過擬合以及在面對數(shù)據(jù)挑戰(zhàn)時如何準備數(shù)據(jù)以便更好地學習。 第10章是深度學習的發(fā)展趨勢,總結了即將到來的一些深度學習想法。它著眼于新開發(fā)算法中的一些即將出現(xiàn)的趨勢以及一些深度學習的新應用。閱讀建議 為了充分利用《深度學習基礎教程》,讀者需要按照我們提供的如下建議進行閱讀:第一,建議至少對Python編程和機器學習有一些基本的了解。第二,在閱讀第3章及其之后的章節(jié)之前,一定要遵循第2章的設置說明。需要設置自己的編程環(huán)境,以便于能夠練習書中的示例代碼。第三,讓自己熟悉TensorFlow并閱讀其文檔。TensorFlow文檔(https://www.tensorflow.org/api_docs/)是一個很好的信息資源,其包含了大量很好且重要的示例。也可以在網上查看各種開源示例和深度學習相關的資源。第四,一定要親自探索。對于不需要太多計算時間的簡單問題嘗試不同的設置或配置,這有助于快速了解模型如何工作以及如何調整參數(shù)。最后,深入研究每種類型的模型。本書用樸素的語言解釋了各種深度學習模型的要點并且避免了太多的數(shù)學描述,其目的是幫助讀者了解神經網絡的底層機制。雖然目前有許多不同的開源工具可以提供高級API,但是對深度學習的良好理解將對調試和改進模型性能大有裨益。下載示例代碼文件 讀者可以在網站www.packtpub.com上登錄自己的賬戶,下載《深度學習基礎教程》的示例代碼文件。如果是從其他渠道購買的本書,可以訪問網址:www.packtpub.com/support。注冊之后,可以收到通過郵件直接發(fā)送過來的文件。 可以根據(jù)
Wei Di是一名擁有多年機器學習和人工智能經驗的數(shù)據(jù)科學家。她熱衷于創(chuàng)建智能和可擴展的解決方案,這些解決方案可以影響數(shù)百萬人,并增強成功企業(yè)的能力。目前,她是LinkedIn的一名數(shù)據(jù)科學家。她之前曾與eBay人類語言技術團隊和eBay研究實驗室合作。在此之前,她在Ancestry.com從事記錄鏈接領域的大規(guī)模數(shù)據(jù)挖掘工作。她于2011年獲得了普渡大學的博士學位。Anurag Bhardwaj目前領導著Wiser Solutions的數(shù)據(jù)科學工作,其主要致力于構建大規(guī)模的電子商務庫存。他特別感興趣的是使用機器學習來解決產品類別分類和產品匹配方面的問題,以及電子商務中的各種相關問題。此前,他曾在eBay研究實驗室從事圖像理解工作。他在紐約州立大學布法羅分校獲得博士學位和碩士學位,并在印度庫魯什特拉(Kurukshetra)的國立理工學院獲得了計算機工程學士學位。Jianing Wei是Google Research的高級軟件工程師。他的工作領域是計算機視覺和計算機成像。在2013年加入谷歌之前,他曾在索尼美國研究中心工作了4年,在此期間其主要從事3D計算機視覺和圖像處理領域的研究工作。他于2010年獲得了普渡大學電子與計算機工程博士學位。
譯者序原書前言第 1章 為什么進行深度學習 // 1 1.1 什么是人工智能和深度學習 // 1 1.2 深度學習的歷史及其興起 // 2 1.3 為什么進行深度學習 // 7 1.3.1 相比于傳統(tǒng)淺層方法的優(yōu)勢 // 7 1.3.2 深度學習的影響 //8 1.4 深層架構的動機 // 9 1.4.1 神經的觀點 // 10 1.4.2 特征表示的觀點 // 10 1.5 應用 //14 1.5.1 盈利性應用 // 14 1.5.2 成功案例 // 14 1.5.3 面向企業(yè)的深度學習 // 19 1.6 未來的潛力和挑戰(zhàn) // 20 1.7 小結 //21第 2章 為深度學習做準備 // 22 2.1 線性代數(shù)的基礎知識 // 22 2.1.1 數(shù)據(jù)表示 // 22 2.1.2 數(shù)據(jù)操作 // 23 2.1.3 矩陣屬性 // 24 2.2 使用GPU進行深度學習 // 24 2.2.1 深度學習硬件指南 // 26 2.3 深度學習軟件框架 // 27 2.3.1 TensorFlow // 27 2.3.2 Caffe // 27 2.3.3 MXNet // 28 2.3.4 Torch // 28 2.3.5 Theano // 28 2.3.6 CNTK // 29 2.3.7 Keras // 29 2.3.8 框架比較 // 292.4 基本亞馬遜網絡服務的深度學習開發(fā)環(huán)境配置 // 30 2.4.1 從零開始配置 // 30 2.4.2 基于Docker的配置 // 33 2.5 小結 //34第 3章 神經網絡入門 // 35 3.1 多層感知機 // 35 3.1.1 輸入層 // 36 3.1.2 輸出層 // 36 3.1.3 隱藏層 // 36 3.1.4 激活函數(shù) // 36 3.2 如何進行網絡學習 // 39 3.2.1 權值初始化 // 39 3.2.2 前向傳播 // 39 3.2.3 反向傳播 // 40 3.2.4 梯度消失與爆炸 // 42 3.2.5 優(yōu)化算法 // 42 3.2.6 正則化 // 43 3.3 深度學習模型 // 433.3.1 卷積神經網絡 // 43 3.3.2 受限玻耳茲曼機 // 47 3.3.3 循環(huán)神經網絡(RNN/LSTM網絡)// 50 3.3.4 RNN中的單元及其展開 // 51 3.3.5 通過時間的反向傳播 // 51 3.3.6 梯度消失與 LSTM網絡 // 51 3.3.7 LSTM網絡中的單元和網關 // 52 3.4 應用示例 //53 3.4.1 TensorFlow設置與關鍵概念 // 53 3.4.2 手寫數(shù)字識別 // 54 3.5 小結 //57第 4章 計算機視覺中的深度學習 // 58 4.1 卷積神經網絡的起源 // 58 4.2 卷積神經網絡 // 59 4.2.1 數(shù)據(jù)變換 // 61 4.2.2 網絡層 // 62 4.2.3 網絡初始化 // 65 4.2.4 正則化 // 66 4.2.5 損失函數(shù) // 67 4.2.6 模型可視化 // 68 4.2.7 手寫數(shù)字分類示例 // 69 4.3 微調卷積神經網絡 // 71 4.4 主流的卷積神經網絡架構 // 72 4.4.1 AlexNet // 72 4.4.2 VGG // 72 4.4.3 GoogLeNet // 734.4.4 ResNet // 73 4.5 小結 //74第 5章 自然語言處理中的向量表示 // 75 5.1 傳統(tǒng)的自然語言處理 // 75 5.1.1 BoW // 75 5.1.2 帶權的 tf-idf // 76 5.2 基于深度學習的自然語言處理 // 77 5.2.1 動機及分散式表示法 // 77 5.2.2 詞嵌入 // 78 5.2.3 Word2Vec // 81 5.2.4 了解 GloVe // 92 5.2.5 FastText // 92 5.3 應用 //93 5.3.1 使用示例 // 93 5.3.2 微調 // 93 5.4 小結 //94第 6章 高級自然語言處理 // 95 6.1 面向文本的深度學習 // 95 6.1.1 神經網絡的局限性 // 95 6.2 循環(huán)神經網絡 // 96 6.2.1 RNN架構 // 97 6.2.2 基本的RNN模型 // 98 6.2.3 訓練RNN很難 // 98 6.3 LSTM網絡 //99 6.3.1 使用TensorFlow實現(xiàn)LSTM網絡 // 101 6.4 應用 //103 6.4.1 語言建模 // 103 6.4.2 序列標注 // 104 6.4.3 機器翻譯 // 106 6.4.4 聊天機器人 // 1096.5 小結 //110第 7章 多模態(tài) // 111 7.1 什么是多模態(tài)學習 // 111 7.2 多模態(tài)學習的挑戰(zhàn) // 111 7.2.1 模態(tài)表示 // 112 7.2.2 模態(tài)轉換 // 112 7.2.3 模態(tài)對齊 // 1127.2.4 模態(tài)融合 // 113 7.2.5 協(xié)同學習 // 113 7.3 圖像標注生成 //113 7.3.1 show&tell算法 // 114 7.3.2 其他類型的方法 // 116 7.3.3 數(shù)據(jù)集 // 117 7.3.4 評估方法 // 119 7.3.5 注意力模型 // 121 7.4 視覺問答 //125 7.5 基于多源的自動駕駛 //127 7.6 小結 //130第 8章 深度強化學習 // 1318.1 什么是強化學習 // 131 8.1.1 問題設置 // 132 8.1.2 基于值函數(shù)學習的算法 // 132 8.1.3 基于策略搜索的算法 //134 8.1.4 基于Actor-Critic的算法 // 134 8.2 深度強化學習 // 135 8.2.1 深度Q網絡(DQN)// 135 8.2.2 雙DQN // 137 8.2.3 競爭DQN // 138 8.3 強化學習實現(xiàn) // 138 8.3.1 簡單的強化學習示例 // 138 8.3.2 以Q-learning為例的強化學習 // 139 8.4 小結 //141第 9章 深度學習的技巧 // 142 9.1 處理數(shù)據(jù) //142 9.1.1 數(shù)據(jù)清理 // 142 9.1.2 數(shù)據(jù)擴充 // 142 9.1.3 數(shù)據(jù)歸一化 // 143 9.2 訓練技巧 // 143 9.2.1 權值初始化 // 143 9.2.2 優(yōu)化 // 144 9.2.3 損失函數(shù)選擇 // 146 9.2.4 防止過擬合 // 147 9.2.5 微調 // 148 9.3 模型壓縮 // 149 9.4 小結 // 152第 10章 深度學習的發(fā)展趨勢 // 153 10.1 深度學習的最新模型 // 15310.1.1 生成對抗網絡 // 153 10.1.2 Capsule網絡 // 154 10.2 深度學習的新應用 // 15510.2.1 基因組學 // 155 10.2.2 醫(yī)療預測 // 157 10.2.3 臨床影像學 // 159 10.2.4 唇語 // 160 10.2.5 視覺推理 // 161 10.2.6 代碼合成 // 162 10.3 小結 // 164