TensorFlow知識(shí)圖譜實(shí)戰(zhàn)
定 價(jià)：69 元
叢書名：人工智能技術(shù)叢書
- 作者：王曉華
- 出版時(shí)間：2021/11/1
- ISBN：9787302591788
- 出 版 社：清華大學(xué)出版社
- 中圖法分類：TP18
- 頁碼：
- 紙張：膠版紙
- 版次：
- 開本：16開
大數(shù)據(jù)時(shí)代的到來，為人工智能的飛速發(fā)展帶來前所未有的數(shù)據(jù)紅利。在大數(shù)據(jù)的喂養(yǎng)下，大量知識(shí)不斷涌現(xiàn)，如何有效地發(fā)掘這些知識(shí)呢？知識(shí)圖譜橫空出世。本書是一本講解如何使用TensorFlow 2構(gòu)建知識(shí)圖譜的入門教程，引導(dǎo)讀者掌握基于深度學(xué)習(xí)的知識(shí)圖譜構(gòu)建概念、理論和方法。 本書分為13章：第1章從搭建環(huán)境開始，包含TensorFlow CPU 版本和GPU版本的安裝，并通過一個(gè)知識(shí)圖譜的例子引導(dǎo)讀者開始學(xué)習(xí)；第2~4章介紹TensorFlow API的使用；第5章是Dataset API，學(xué)習(xí)使用原生API處理數(shù)據(jù)的方法；第6~8章是實(shí)戰(zhàn)準(zhǔn)備部分，介紹ResNet模型、詞嵌入（word embedding）模型、情感分類；第9 ~10章在注意力模型基礎(chǔ)上搭建了編碼器模型；第11~13章搭建了知識(shí)圖譜聯(lián)合抽取模型，利用本書所學(xué)知識(shí)實(shí)戰(zhàn)知識(shí)圖譜的搭建過程和性能提升方案。 本書內(nèi)容詳盡、示例豐富，適合作為知識(shí)圖譜和深度學(xué)習(xí)讀者的參考書，同時(shí)也適合開設(shè)人工智能專業(yè)的大中專院校師生閱讀，還可作為高等院校計(jì)算機(jī)及相關(guān)專業(yè)教材使用。
本書介紹TensorFlow構(gòu)建知識(shí)圖譜的核心技術(shù)，幫助讀者掌握使用深度學(xué)習(xí)構(gòu)建知識(shí)圖譜的方法，以及使用神經(jīng)網(wǎng)絡(luò)的技術(shù)要點(diǎn)和基于深度學(xué)習(xí)的應(yīng)用程序編寫技巧。
知識(shí)圖譜（Knowledge Graph）的概念由谷歌首先提出，旨在實(shí)現(xiàn)更智能的搜索引擎。目前，隨著智能信息服務(wù)應(yīng)用的不斷發(fā)展，知識(shí)圖譜已被廣泛應(yīng)用于智能搜索、智能問答、個(gè)性化推薦、情報(bào)分析、反欺詐等領(lǐng)域。另外，通過知識(shí)圖譜能夠?qū)eb上的信息、數(shù)據(jù)以及鏈接關(guān)系聚集為知識(shí)，使信息資源更易于計(jì)算、理解以及評(píng)價(jià)，并且形成一套Web語義知識(shí)庫。知識(shí)圖譜以其強(qiáng)大的語義處理能力與開放互聯(lián)能力可為互聯(lián)網(wǎng)上的知識(shí)互聯(lián)奠定扎實(shí)的基礎(chǔ)，使Web 3.0提出的知識(shí)之網(wǎng)愿景成為可能。
隨著深度學(xué)習(xí)在各個(gè)領(lǐng)域中獲得的成功應(yīng)用，科研人員嘗試著使用深度學(xué)習(xí)去解決知識(shí)圖譜構(gòu)建的問題，因?yàn)檫@兩個(gè)領(lǐng)域的相關(guān)特征信息都是相對(duì)低層次的，可以借助深度學(xué)習(xí)的強(qiáng)大學(xué)習(xí)能力學(xué)習(xí)其中的復(fù)雜信息，目前來看這個(gè)嘗試是成功的，應(yīng)用深度學(xué)習(xí)技術(shù)可以簡(jiǎn)單有效地構(gòu)建知識(shí)圖譜。
本書選用TensorFlow 2作為深度學(xué)習(xí)的框架，從基礎(chǔ)語法開始到使用TensorFlow 2進(jìn)行深度學(xué)習(xí)知識(shí)圖譜的構(gòu)建和實(shí)戰(zhàn)代碼的編寫，全面介紹使用TensorFlow 2進(jìn)行知識(shí)圖譜構(gòu)建的核心技術(shù)和涉及的相關(guān)知識(shí)，內(nèi)容翔實(shí)。
同時(shí)，本書并不是一個(gè)簡(jiǎn)單的實(shí)戰(zhàn)案例書，而是在講解和演示實(shí)例代碼的過程中，對(duì)TensorFlow 2核心內(nèi)容進(jìn)行深入分析，重要內(nèi)容均結(jié)合代碼進(jìn)行實(shí)戰(zhàn)講解，圍繞深度學(xué)習(xí)基本原理介紹了大量實(shí)戰(zhàn)案例。讀者通過這些實(shí)例，可以深入地掌握深度學(xué)習(xí)和TensorFlow 2的相關(guān)內(nèi)容，并能掌握使用深度學(xué)習(xí)構(gòu)建知識(shí)圖譜的技能。
本書是一本面向初級(jí)和中級(jí)讀者的優(yōu)秀教程。通過本書的學(xué)習(xí)，讀者能夠掌握使用深度學(xué)習(xí)進(jìn)行知識(shí)圖譜構(gòu)建的方法，以及在TensorFlow 2框架下使用神經(jīng)網(wǎng)絡(luò)的要點(diǎn)，掌握基于深度學(xué)習(xí)應(yīng)用程序的編寫技巧。
本書特色
（1）重實(shí)戰(zhàn)，講原理。本書立足于深度學(xué)習(xí)，以知識(shí)圖譜實(shí)戰(zhàn)為目的進(jìn)行講解，提供完整可運(yùn)行的知識(shí)圖譜代碼，并對(duì)基本原理進(jìn)行講解，可以讓讀者直接將其應(yīng)用到實(shí)際生產(chǎn)環(huán)境中。
（2）版本新，易入門。本書詳細(xì)介紹TensorFlow 2.4的安裝，包括CPU版本和GPU版本，同時(shí)還包括各種開發(fā)工具和框架的安裝。
（3）作者經(jīng)驗(yàn)豐富，代碼編寫細(xì)膩。作者是長期奮戰(zhàn)在科研和工業(yè)界的一線算法設(shè)計(jì)和程序編寫人員，實(shí)戰(zhàn)經(jīng)驗(yàn)豐富，對(duì)代碼中可能會(huì)出現(xiàn)的各種問題和坑有豐富的處理經(jīng)驗(yàn)，能夠使讀者少走很多彎路。
（4）理論扎實(shí)，深入淺出。在代碼設(shè)計(jì)的基礎(chǔ)上，本書還深入淺出地介紹深度學(xué)習(xí)需要掌握的一些基本理論，作者通過公式與圖示結(jié)合的方式對(duì)理論做介紹，方便讀者理解相關(guān)內(nèi)容。
（5）對(duì)比多種應(yīng)用方案，實(shí)戰(zhàn)案例豐富。本書采用大量的實(shí)例，同時(shí)提供一些實(shí)現(xiàn)同類功能的其他解決方案，覆蓋使用TensorFlow 2進(jìn)行深度學(xué)習(xí)開發(fā)中常用的知識(shí)。
本書內(nèi)容及知識(shí)體系
本書完整地介紹使用TensorFlow 2構(gòu)建知識(shí)圖譜的方法，主要內(nèi)容如下：
第1章是理論基礎(chǔ)篇，首先講解知識(shí)圖譜的概念、它與自然語言處理的關(guān)系，然后搭建知識(shí)圖譜的開發(fā)環(huán)境，包括Anaconda、PyCharm、TensorFlow 2.4，后構(gòu)建一個(gè)簡(jiǎn)單的知識(shí)圖譜。
第2章從Model的設(shè)計(jì)開始，循序漸進(jìn)地介紹TensorFlow 2的編程方法，以及結(jié)合Keras進(jìn)行TensorFlow 2模型設(shè)計(jì)的完整步驟和自定義層的方法。本章內(nèi)容看起來很簡(jiǎn)單，卻是本書的技術(shù)基礎(chǔ)和核心精華，讀者一定要反復(fù)閱讀，認(rèn)真掌握其中的所有知識(shí)點(diǎn)和代碼編寫方法。
第3章是TensorFlow 2的理論部分，介紹反饋神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)和核心的兩個(gè)算法，通過圖示結(jié)合理論公式的方式詳細(xì)介紹這兩個(gè)算法，后手動(dòng)實(shí)現(xiàn)一個(gè)反饋神經(jīng)網(wǎng)絡(luò)。使用卷積神經(jīng)網(wǎng)絡(luò)來識(shí)別物體是深度學(xué)習(xí)的一個(gè)經(jīng)典應(yīng)用。
第4章詳細(xì)介紹卷積神經(jīng)網(wǎng)絡(luò)的原理以及各個(gè)模型的使用和自定義方法，并借助卷積神經(jīng)網(wǎng)絡(luò)（CNN）算法構(gòu)建一個(gè)簡(jiǎn)單的CNN模型以進(jìn)行MNIST數(shù)字識(shí)別。
第5章介紹TensorFlow新版本的數(shù)據(jù)讀寫方法，以及TensorFlow 2自帶的Dataset API進(jìn)行數(shù)據(jù)的序列化存儲(chǔ)方法，重點(diǎn)演示將數(shù)據(jù)重新讀取和調(diào)用的程序編寫技巧。
第6章介紹ResNet的基本思想和設(shè)計(jì)技術(shù)。ResNet是一個(gè)具有里程碑性質(zhì)的框架，標(biāo)志著粗獷的卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)向著精確化和模塊化的方向轉(zhuǎn)化，ResNet本身的程序編寫非常簡(jiǎn)單，但是其中蘊(yùn)含的設(shè)計(jì)思想?yún)s是跨越性的。
第7章主要介紹自然語言處理的基本的詞嵌入的訓(xùn)練和使用，以一個(gè)有趣的問題引導(dǎo)讀者從文本清洗開始，到詞嵌入的計(jì)算，以及利用文本的不同維度和角度對(duì)文本進(jìn)行拆分。
第8章主要介紹自然語言處理的一個(gè)基本架構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的基本理論和方法。本章與第6章內(nèi)容互補(bǔ)，可以加深讀者對(duì)深度學(xué)習(xí)中不同模塊和架構(gòu)的理解。
第9章開始進(jìn)行更細(xì)化的自然語言處理部分，總結(jié)和復(fù)習(xí)本書前面所學(xué)的內(nèi)容，并使用深度學(xué)習(xí)工具實(shí)現(xiàn)一個(gè)解碼器，從而解決拼音到文字的轉(zhuǎn)換。這一章的目的是對(duì)前期內(nèi)容的總結(jié)，也為后續(xù)的預(yù)訓(xùn)練模型的基本理論和使用打下基礎(chǔ)。
第10章是預(yù)訓(xùn)練模型的部分，綜合應(yīng)用前文介紹的注意力模型，介紹使用預(yù)訓(xùn)練模型進(jìn)行深度學(xué)習(xí)訓(xùn)練的方法，并教會(huì)讀者可以使用不同的預(yù)訓(xùn)練模型達(dá)到不同的效果。
第11~12章分別演示多標(biāo)簽文本分類實(shí)戰(zhàn)和命名實(shí)體識(shí)別實(shí)戰(zhàn)，同時(shí)這兩個(gè)實(shí)戰(zhàn)也是分步構(gòu)建知識(shí)圖譜的基礎(chǔ)。這兩章內(nèi)容既復(fù)習(xí)了前面章節(jié)所講解的知識(shí)，也為下一章構(gòu)建知識(shí)圖譜聯(lián)合抽取模型打下基礎(chǔ)。
第13章的實(shí)戰(zhàn)案例綜合本書講解的知識(shí)，融合前兩章的模型構(gòu)建了知識(shí)圖譜，并提出其性能優(yōu)化的方法。此實(shí)戰(zhàn)案例既可以用于學(xué)習(xí)演示，也可以作為實(shí)際應(yīng)用的程序進(jìn)行移植。
源碼、課件、數(shù)據(jù)集、開發(fā)環(huán)境下載
本書配套源碼、課件、數(shù)據(jù)集、開發(fā)環(huán)境，需要使用微信掃描右邊二維碼下載，可按頁面提示把鏈接轉(zhuǎn)發(fā)到自己的郵箱中下載。如果有問題，請(qǐng)聯(lián)系booksaga@163.com，郵件主題為TensorFlow知識(shí)圖譜實(shí)戰(zhàn)。
適合閱讀本書的讀者
? Python編程人員
? AI初學(xué)者
? 知識(shí)圖譜初學(xué)者
? 深度學(xué)習(xí)初學(xué)者
? 自然語言處理初學(xué)者
? 人工智能專業(yè)的師生
? 培訓(xùn)機(jī)構(gòu)的師生
? 其他對(duì)智能化、自動(dòng)化感興趣的開發(fā)者
勘誤和感謝
由于筆者的水平有限，加上TensorFlow版本的演進(jìn)較快、本書編寫時(shí)間跨度較長，書中難免會(huì)出現(xiàn)疏漏的地方，懇請(qǐng)讀者來信批評(píng)指正。
感謝出版社的所有編輯在本書編寫和審核過程中提供的無私幫助和寶貴建議，正是由于他們的耐心和支持才讓本書得以出版。感謝家人對(duì)筆者的支持和理解，這些都給予筆者莫大的動(dòng)力，讓自己的努力更加有意義。
王曉華
2021年9月
王曉華，計(jì)算機(jī)專業(yè)講師，長期講授面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)結(jié)構(gòu)、Hadoop程序設(shè)計(jì)等研究生和本科生相關(guān)課程；主要研究方向?yàn)樵朴?jì)算、數(shù)據(jù)挖掘。曾主持和參與多項(xiàng)國家和省級(jí)科研課題，獨(dú)立科研項(xiàng)目獲省級(jí)成果認(rèn)定，發(fā)表過多篇論文，擁有一項(xiàng)國家專利。著有《Spark MLlib機(jī)器學(xué)習(xí)實(shí)踐》《TensorFlow深度學(xué)習(xí)應(yīng)用實(shí)踐》《OpenCV TensorFlow深度學(xué)習(xí)與計(jì)算機(jī)視覺實(shí)戰(zhàn)》《TensorFlow 2.0卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn)》《TensorFlow Keras自然語言處理實(shí)戰(zhàn)》等圖書。
第1章 知識(shí)圖譜的前世今生 1
1.1 何謂自然語言處理 1
1.1.1 自然語言處理是門技術(shù) 1
1.1.2 傳統(tǒng)的自然語言處理 2
1.2 自然語言處理為什么難以簡(jiǎn)單的情感分析為例 3
1.2.1 自然語言處理的難點(diǎn) 3
1.2.2 自然語言處理小練習(xí)：酒店評(píng)論的情感分類 5
1.3 知識(shí)圖譜到底是什么 8
1.3.1 知識(shí)圖譜的應(yīng)用 9
1.3.2 知識(shí)圖譜中的三元組 10
1.4 搭建環(huán)境1：安裝Python 11
1.4.1 Anaconda的下載與安裝 12
1.4.2 PyCharm的下載與安裝 14
1.4.3 Python代碼小練習(xí)：計(jì)算softmax函數(shù) 17
1.5 搭建環(huán)境2：安裝TensorFlow 2.X的GPU版本 18
1.5.1 10/20/30系列顯卡選擇的GPU版本 18
1.5.2 TensorFlow 2.4 GPU版本基礎(chǔ)顯卡推薦和前置軟件安裝 19
1.5.3 TensorFlow小練習(xí)：Hello TensorFlow 22
1.6 實(shí)戰(zhàn)知識(shí)圖譜的展示 22
1.6.1 步：數(shù)據(jù)的準(zhǔn)備 22
1.6.2 第二步：數(shù)據(jù)的處理 23
1.6.3 第三步：知識(shí)圖譜的展示 24
1.6.4 第四步：更多的連線 25
1.6.5 一個(gè)需要解決的小問題 25
1.7 本章小結(jié) 26
第2章 TensorFlow和Keras快速入門 27
2.1 Keras讓一切變簡(jiǎn)單 27
2.1.1 深度學(xué)習(xí)，始于模型 28
2.1.2 使用Keras API實(shí)現(xiàn)鳶尾花分類的例子（順序模型） 28
2.1.3 使用Keras函數(shù)式編程實(shí)現(xiàn)鳶尾花分類的例子（重點(diǎn)） 31
2.1.4 使用保存的Keras模式對(duì)模型進(jìn)行復(fù)用 34
2.1.5 使用TensorFlow 標(biāo)準(zhǔn)化編譯對(duì)iris模型進(jìn)行擬合 34
2.1.6 多輸入單一輸出TensorFlow 編譯方法（選學(xué)） 38
2.1.7 多輸入多輸出TensorFlow 編譯方法（選學(xué)） 42
2.2 全連接層詳解 43
2.2.1 全連接層的定義與實(shí)現(xiàn) 43
2.2.2 使用TensorFlow 自帶的API實(shí)現(xiàn)全連接層 45
2.2.3 打印顯示已設(shè)計(jì)的model結(jié)構(gòu)和參數(shù) 48
2.3 懶人的福音Keras模型庫 49
2.3.1 ResNet50模型和參數(shù)的載入 50
2.3.2 使用ResNet作為特征提取層建立模型 52
2.4 本章小結(jié) 54
第3章 深度學(xué)習(xí)的理論基礎(chǔ) 55
3.1 BP神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介 56
3.2 BP神經(jīng)網(wǎng)絡(luò)兩個(gè)基礎(chǔ)算法詳解 59
3.2.1 小二乘法（LS算法）詳解 59
3.2.2 道士下山的故事梯度下降算法 61
3.2.3 小二乘法的梯度下降算法及其Python實(shí)現(xiàn) 64
3.3 反饋神經(jīng)網(wǎng)絡(luò)反向傳播算法介紹 70
3.3.1 深度學(xué)習(xí)基礎(chǔ) 70
3.3.2 鏈?zhǔn)角髮?dǎo)法則 71
3.3.3 反饋神經(jīng)網(wǎng)絡(luò)原理與公式推導(dǎo) 72
3.3.4 反饋神經(jīng)網(wǎng)絡(luò)原理的激活函數(shù) 78
3.3.5 反饋神經(jīng)網(wǎng)絡(luò)原理的Python實(shí)現(xiàn) 79
3.4 本章小結(jié) 83
第4章 卷積神經(jīng)網(wǎng)絡(luò)實(shí)戰(zhàn) 84
4.1 卷積運(yùn)算基本概念 84
4.1.1 卷積運(yùn)算 85
4.1.2 TensorFlow 中卷積函數(shù)實(shí)現(xiàn)詳解 86
4.1.3 池化運(yùn)算 88
4.1.4 softmax激活函數(shù) 89
4.1.5 卷積神經(jīng)網(wǎng)絡(luò)原理 90
4.2 卷積實(shí)戰(zhàn)：MNIST手寫體識(shí)別 93
4.2.1 MNIST數(shù)據(jù)集 93
4.2.2 MNIST數(shù)據(jù)集特征和標(biāo)簽介紹 95
4.2.3 TensorFlow 2.X編程實(shí)戰(zhàn)：MNIST數(shù)據(jù)集 97
4.2.4 使用自定義的卷積層實(shí)現(xiàn)MNIST識(shí)別 101
4.3 本章小結(jié) 104
第5章 Datasets數(shù)據(jù)集和TensorBoard可視化 105
5.1 TensorFlow Datasets簡(jiǎn)介 105
5.1.1 Datasets 數(shù)據(jù)集的安裝 107
5.1.2 Datasets 數(shù)據(jù)集的使用 107
5.2 Datasets 數(shù)據(jù)集的使用FashionMNIST 109
5.2.1 FashionMNIST數(shù)據(jù)集下載與展示 110
5.2.2 模型的建立與訓(xùn)練 111
5.3 使用Keras對(duì)FashionMNIST數(shù)據(jù)集進(jìn)行處理 113
5.3.1 獲取數(shù)據(jù)集 113
5.3.2 數(shù)據(jù)集的調(diào)整 114
5.3.3 使用Python類函數(shù)建立模型 114
5.3.4 Model的查看和參數(shù)打印 115
5.3.5 模型的訓(xùn)練和評(píng)估 117
5.4 使用TensorBoard可視化訓(xùn)練過程 119
5.4.1 TensorBoard文件夾設(shè)置 119
5.4.2 TensorBoard的顯式調(diào)用（推薦使用Chrome或Edge瀏覽器） 120
5.4.3 TensorBoard的使用 122
5.5 本章小結(jié) 126
第6章 ResNet實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)的飛躍 127
6.1 ResNet基礎(chǔ)原理與程序設(shè)計(jì)基礎(chǔ) 127
6.1.1 ResNet誕生的背景 127
6.1.2 模塊工具的TensorFlow 實(shí)現(xiàn)不要重復(fù)造輪子 130
6.1.3 TensorFlow 高級(jí)模塊layers用法簡(jiǎn)介 131
6.2 ResNet實(shí)戰(zhàn)：CIFAR100數(shù)據(jù)集分類 138
6.2.1 CIFAR100數(shù)據(jù)集簡(jiǎn)介 138
6.2.2 ResNet殘差模塊的實(shí)現(xiàn) 141
6.2.3 ResNet網(wǎng)絡(luò)的實(shí)現(xiàn) 143
6.2.4 使用ResNet對(duì)CIFAR100數(shù)據(jù)集進(jìn)行分類 146
6.3 本章小結(jié) 147
第7章 有趣的詞嵌入word embedding 148
7.1 文本數(shù)據(jù)處理 148
7.1.1 數(shù)據(jù)集介紹和數(shù)據(jù)清洗 149
7.1.2 停用詞的使用 151
7.1.3 詞向量訓(xùn)練模型word2vec使用介紹 153
7.1.4 文本主題的提�。夯赥F-IDF（選學(xué)） 156
7.1.5 文本主題的提�。夯赥extRank（選學(xué)） 160
7.2 更多的word embedding方法fastText和 預(yù)訓(xùn)練詞向量 163
7.2.1 fastText的原理與基礎(chǔ)算法 163
7.2.2 fastText訓(xùn)練以及與TensorFlow 2.X的協(xié)同使用 164
7.2.3 使用其他預(yù)訓(xùn)練參數(shù)做TensorFlow詞嵌入矩陣（中文） 170
7.3 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型簡(jiǎn)介字符卷積 171
7.3.1 字符（非單詞）文本的處理 172
7.3.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)conv1d（一維卷積） 179
7.4 針對(duì)文本的卷積神經(jīng)網(wǎng)絡(luò)模型詞卷積 180
7.4.1 單詞的文本處理 181
7.4.2 卷積神經(jīng)網(wǎng)絡(luò)文本分類模型的實(shí)現(xiàn)conv2d（二維卷積） 183
7.5 使用卷積對(duì)文本分類的補(bǔ)充內(nèi)容 186
7.5.1 漢字的文本處理 186
7.5.2 其他的一些細(xì)節(jié) 188
7.6 本章小結(jié) 189
第8章 情感分類 190
8.1 GRU與情感分類 190
8.1.1 使用GRU的情感分類 190
8.1.2 什么是GRU 191
8.1.3 TensorFlow 中的GRU層詳解 193
8.1.4 單向不行就雙向 194
8.2 實(shí)戰(zhàn)：情感分類 195
8.2.1 使用TensorFlow 自帶的模型做文本分類 195
8.2.2 使用自定義的DPCNN做模型分類 199
8.3 本章小結(jié) 203
第9章 編碼器自然語言處理的歸宿 204
9.1 編碼器的核心注意力模型 205
9.1.1 輸入層初始詞向量層和位置編碼器層 205
9.1.2 自注意力層 207
9.1.3 ticks和LayerNormalization 212
9.1.4 多頭自注意力 213
9.2 編碼器的實(shí)現(xiàn) 216
9.2.1 前饋層的實(shí)現(xiàn) 216
9.2.2 編碼器的實(shí)現(xiàn) 218
9.3 實(shí)戰(zhàn)編碼器：漢字拼音轉(zhuǎn)化模型 221
9.3.1 漢字拼音數(shù)據(jù)集處理 222
9.3.2 漢字拼音轉(zhuǎn)化模型的確定 223
9.3.3 模型訓(xùn)練部分的編寫 226
9.3.4 推斷函數(shù)的編寫 228
9.4 本章小結(jié) 229
第10章 BERT站在巨人肩膀上的預(yù)訓(xùn)練模型 230
10.1 預(yù)訓(xùn)練模型BERT 230
10.1.1 BERT基本架構(gòu)與應(yīng)用 231
10.1.2 BERT預(yù)訓(xùn)練任務(wù)與Fine-Tuning 232
10.2 實(shí)戰(zhàn)BERT：中文文本分類 235
10.2.1 使用Hugging face獲取BERT預(yù)訓(xùn)練模型 235
10.2.2 BERT實(shí)戰(zhàn)文本分類 236
10.3 更多的預(yù)訓(xùn)練模型 241
10.4 本章小結(jié) 244
第11章 知識(shí)圖譜實(shí)戰(zhàn)1：多標(biāo)簽文本分類 245
11.1 多標(biāo)簽文本基本內(nèi)容 245
11.1.1 多標(biāo)簽分類不等于多分類 245
11.1.2 多標(biāo)簽分類的激活函數(shù)sigmoid 246
11.2 多標(biāo)簽文本實(shí)戰(zhàn) 247
11.2.1 步：數(shù)據(jù)的獲取與處理 247
11.2.2 第二步：選擇特征抽取模型 251
11.2.3 第三步：訓(xùn)練模型的建立 252
11.2.4 第四步：多標(biāo)簽文本分類的訓(xùn)練與預(yù)測(cè) 253
11.3 本章小結(jié) 256
第12章 知識(shí)圖譜實(shí)戰(zhàn)2：命名實(shí)體識(shí)別 257
12.1 命名實(shí)體識(shí)別的基本內(nèi)容 257
12.1.1 什么是命名實(shí)體識(shí)別 257
12.1.2 深度學(xué)習(xí)在命名實(shí)體識(shí)別中的應(yīng)用 258
12.1.3 命名實(shí)體識(shí)別CRF層簡(jiǎn)介 258
12.1.4 命名實(shí)體識(shí)別一般的模型架構(gòu)詳解 259
12.2 方法一：BERT命名實(shí)體識(shí)別實(shí)戰(zhàn) 260
12.2.1 步：數(shù)據(jù)的獲取與處理 260
12.2.2 第二步：BERT模型設(shè)計(jì) 262
12.2.3 第三步：完整的BERT模型訓(xùn)練 263
12.2.4 第四步：使用BERT命名實(shí)體識(shí)別模型進(jìn)行預(yù)測(cè) 263
12.3 方法二：BiLSTM-CRF命名實(shí)體識(shí)別實(shí)戰(zhàn) 265
12.3.1 步：數(shù)據(jù)的獲取與處理 265
12.3.2 第二步：BiLSTM-CRF模型設(shè)計(jì) 265
12.3.3 第三步：BiLSTM-CRF模型的訓(xùn)練 266
12.3.4 第四步：使用BiLSTM的預(yù)測(cè) 268
12.4 本章小結(jié) 269
第13章 知識(shí)圖譜實(shí)戰(zhàn)3： 基于聯(lián)合抽取的知識(shí)圖譜模型 270
13.1 基于聯(lián)合抽取的知識(shí)圖譜模型實(shí)戰(zhàn) 270
13.1.1 什么是聯(lián)合抽取 270
13.1.2 步：數(shù)據(jù)的處理 272
13.1.3 第二步：模型的設(shè)計(jì) 274
13.1.4 第三步：聯(lián)合抽取模型的訓(xùn)練 274
13.2 知識(shí)圖譜模型提升 276
13.2.1 更換預(yù)訓(xùn)練模型進(jìn)行提升 276
13.2.2 更換損失函數(shù)進(jìn)行提升 276
13.2.3 使用Mixture-of-Experts修正聯(lián)合抽取模型 279
13.3 本章小結(jié) 281
書單推薦
