国产色播AV在线观看,国产精品亚洲av三区,国产在线观看福利精品

本書介紹終身學(xué)習(xí)這種高級(jí)機(jī)器學(xué)習(xí)范式，這種范式通過(guò)積累過(guò)去的知識(shí)持續(xù)地學(xué)習(xí)，并將學(xué)到的知識(shí)用于幫助在未來(lái)進(jìn)行其他學(xué)習(xí)和解決問(wèn)題。相比之下，當(dāng)前主流的機(jī)器學(xué)習(xí)范式都是孤立學(xué)習(xí)，即給定一個(gè)訓(xùn)練數(shù)據(jù)集，之后在這個(gè)數(shù)據(jù)集上運(yùn)行機(jī)器學(xué)習(xí)算法以生成模型，然后再將該模型運(yùn)用于預(yù)期的應(yīng)用。這些范式不保留已經(jīng)學(xué)到的知識(shí)，也不將其運(yùn)用到后續(xù)的學(xué)習(xí)中。與孤立學(xué)習(xí)系統(tǒng)不同，人類只通過(guò)少量的樣例就能實(shí)現(xiàn)有效學(xué)習(xí)，這是因?yàn)槿祟惖膶W(xué)習(xí)是知識(shí)驅(qū)動(dòng)的，即只需少量的數(shù)據(jù)或付出，就能利用過(guò)去已經(jīng)學(xué)到的知識(shí)去學(xué)習(xí)新事物。終身學(xué)習(xí)的目標(biāo)就是模仿人類的這種學(xué)習(xí)能力，因?yàn)橐粋€(gè)沒(méi)有持續(xù)學(xué)習(xí)能力的AI系統(tǒng)不能算作真正的智能。
自本書第1版出版以來(lái)，終身學(xué)習(xí)的研究在相對(duì)較短的時(shí)間內(nèi)取得了顯著的進(jìn)展。出版第2版是為了擴(kuò)展終身學(xué)習(xí)的定義，更新部分章節(jié)的內(nèi)容，并添加一個(gè)新的章節(jié)來(lái)介紹深度神經(jīng)網(wǎng)絡(luò)中持續(xù)學(xué)習(xí)的內(nèi)容，這部分內(nèi)容在過(guò)去的兩三年里一直被積極研究。部分章節(jié)的內(nèi)容也進(jìn)行了修改，使得內(nèi)容更有條理，方便讀者閱讀。此外，作者希望為這一研究領(lǐng)域提出一個(gè)統(tǒng)一的框架。目前，在機(jī)器學(xué)習(xí)中有幾個(gè)與終身學(xué)習(xí)密切相關(guān)的研究課題，特別是多任務(wù)學(xué)習(xí)、遷移學(xué)習(xí)以及元學(xué)習(xí)，因?yàn)樗鼈円膊捎昧酥R(shí)共享和知識(shí)遷移的思想。本書之所以集中介紹這些技術(shù)并討論其異同，目的是在介紹終身機(jī)器學(xué)習(xí)的同時(shí)，對(duì)該領(lǐng)域的重要研究成果和新想法進(jìn)行全面回顧。本書適用于對(duì)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語(yǔ)言處理或模式識(shí)別感興趣的學(xué)生、研究人員和從業(yè)人員。

前　言

Lifelong Machine Learning,Second Edition

編寫第2版的目的是擴(kuò)展終身學(xué)習(xí)的定義，更新部分章節(jié)的內(nèi)容，并添加一個(gè)新的章節(jié)來(lái)介紹深度神經(jīng)網(wǎng)絡(luò)中的持續(xù)學(xué)習(xí)(continual learning in deep neural networks），這部分內(nèi)容在過(guò)去的兩三年里一直被積極研究。另外，還重新組織了部分章節(jié)，使得內(nèi)容更有條理。

編寫本書的工作始于我們?cè)?015年第24屆國(guó)際人工智能聯(lián)合會(huì)議（IJCAI）上關(guān)于終身機(jī)器學(xué)習(xí)(lifelong machine learning）的教程。當(dāng)時(shí)，我們已經(jīng)對(duì)終身機(jī)器學(xué)習(xí)這個(gè)主題做了一段時(shí)間的研究，并在ICML、KDD和ACL上發(fā)表了幾篇文章。當(dāng)Morgan ＆ Claypool出版社聯(lián)系我們要出版關(guān)于該主題的圖書時(shí)，我們很興奮。我們堅(jiān)信終身機(jī)器學(xué)習(xí)（或簡(jiǎn)稱終身學(xué)習(xí)）對(duì)未來(lái)的機(jī)器學(xué)習(xí)和人工智能（AI）至關(guān)重要。值得注意的是，終身學(xué)習(xí)有時(shí)在文獻(xiàn)中也被稱為持續(xù)學(xué)習(xí)(continual learning）或連續(xù)學(xué)習(xí)(continuous learning）。我們對(duì)該主題的最初研究興趣源于幾年前在一個(gè)初創(chuàng)公司所做的關(guān)于情感分析（SA）的工作中所積累的廣泛應(yīng)用經(jīng)驗(yàn)。（典型的SA項(xiàng)目始于客戶在社交媒體中對(duì)他們自己或競(jìng)爭(zhēng)對(duì)手的產(chǎn)品或服務(wù)發(fā)表的消費(fèi)者意見(jiàn)。）SA系統(tǒng)包含兩個(gè)主要的分析任務(wù)：（1）發(fā)現(xiàn)人們?cè)谠u(píng)論文檔（如在線評(píng)論）中談到的實(shí)體（例如，iPhone）和實(shí)體屬性/特征（例如，電池壽命）；（2）確定關(guān)于每個(gè)實(shí)體或?qū)嶓w屬性的評(píng)論是正面的、負(fù)面的或中立的［Liu,2012,2015］。例如，從iPhone真的很酷，但它的電池壽命很糟糕這句話中，SA系統(tǒng)應(yīng)該發(fā)現(xiàn)：（1）作者對(duì)iPhone的評(píng)論是正面的；（2）作者對(duì)iPhone的電池續(xù)航時(shí)間的評(píng)論是負(fù)面的。

在參與許多領(lǐng)域（產(chǎn)品或服務(wù)的類型）的許多項(xiàng)目之后，我們意識(shí)到跨領(lǐng)域和跨項(xiàng)目之間存在著大量可共享的信息。隨著我們經(jīng)歷的項(xiàng)目越來(lái)越多，遇到的新事物卻越來(lái)越少。很容易看出，情感詞和短語(yǔ)（如好的、壞的、差的、糟糕的和昂貴的）是跨領(lǐng)域共享的，大量的實(shí)體和屬性也是共享的。例如，每個(gè)產(chǎn)品都有價(jià)格屬性，大量電子產(chǎn)品有電池，大多數(shù)還有屏幕。如果不使用這些可共享的信息來(lái)大幅度提高SA的準(zhǔn)確度，而是單獨(dú)處理每個(gè)項(xiàng)目及其數(shù)據(jù)，是比較愚蠢的做法。經(jīng)典的機(jī)器學(xué)習(xí)范式完全孤立地學(xué)習(xí)。在這種范式下，給定一個(gè)數(shù)據(jù)集，學(xué)習(xí)算法在這個(gè)數(shù)據(jù)集上運(yùn)行并生成模型，算法沒(méi)有記憶，因此無(wú)法使用先前學(xué)習(xí)的知識(shí)。為了利用知識(shí)共享，SA系統(tǒng)必須保留和積累過(guò)去學(xué)到的知識(shí)，并將其用于未來(lái)的學(xué)習(xí)和問(wèn)題的解決，這正是終身學(xué)習(xí)(lifelong learning）的目標(biāo)。

不難想象，這種跨領(lǐng)域和跨任務(wù)的信息或知識(shí)共享在每個(gè)領(lǐng)域都是正確的。在自然語(yǔ)言處理中尤為明顯，因?yàn)閱卧~和短語(yǔ)的含義在不同領(lǐng)域和任務(wù)之間基本相同，句子語(yǔ)法也是如此。無(wú)論我們談?wù)撌裁粗黝}，都使用相同的語(yǔ)言，盡管每個(gè)主題可能只使用一種語(yǔ)言中的一小部分單詞和短語(yǔ)。如果情況并非如此，那么人類也不會(huì)形成自然語(yǔ)言。因此，終身學(xué)習(xí)可以廣泛應(yīng)用，而不僅僅局限于情感分析。

本書的目的是提出這種新興的機(jī)器學(xué)習(xí)范式，并對(duì)該領(lǐng)域的重要研究成果和新想法進(jìn)行全面的回顧。我們還想為該研究領(lǐng)域提出一個(gè)統(tǒng)一的框架。目前，機(jī)器學(xué)習(xí)中有幾個(gè)與終身學(xué)習(xí)密切相關(guān)的研究課題，特別值得注意的是多任務(wù)學(xué)習(xí)和遷移學(xué)習(xí)，因?yàn)樗鼈円膊捎昧酥R(shí)共享和知識(shí)遷移的思想。本書將集中介紹這些主題，并討論它們之間的相同和差異。我們將終身學(xué)習(xí)視為這些相關(guān)范式的擴(kuò)展。通過(guò)本書，我們還想激勵(lì)研究人員開(kāi)展終身學(xué)習(xí)的研究。我們相信終身學(xué)習(xí)代表了未來(lái)幾年機(jī)器學(xué)習(xí)和人工智能的主要研究方向。如果不能保留和積累過(guò)去學(xué)到的知識(shí)，對(duì)知識(shí)進(jìn)行推理，并利用已學(xué)到的知識(shí)幫助未來(lái)的學(xué)習(xí)和解決問(wèn)題，那么實(shí)現(xiàn)通用人工智能（Artificial General Intelligence, AGI）是不可能的。

編寫本書遵循了兩個(gè)主要指導(dǎo)原則。首先，它應(yīng)該包含開(kāi)展終身學(xué)習(xí)研究的強(qiáng)大動(dòng)機(jī)，以便鼓勵(lì)研究生和研究人員致力于研究終身學(xué)習(xí)的問(wèn)題。其次，它的內(nèi)容對(duì)于具有機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘基礎(chǔ)知識(shí)的從業(yè)者和高年級(jí)本科生應(yīng)該是易于理解的。但是，對(duì)于計(jì)劃攻讀機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘領(lǐng)域博士學(xué)位的研究生來(lái)說(shuō)，應(yīng)該學(xué)習(xí)更加詳盡的資料。

因此，本書適用于對(duì)機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、自然語(yǔ)言處理或模式識(shí)別感興趣的學(xué)生、研究人員和從業(yè)人員。

陳志源和劉兵

2018年8月

陳志源（Zhiyuan Chen）在伊利諾伊大學(xué)芝加哥分校劉兵教授的指導(dǎo)下獲得博士學(xué)位，博士論文題目為終身機(jī)器學(xué)習(xí)：主題建模與分類。他于2016年加入谷歌公司。他的研究興趣包括機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、文本挖掘、數(shù)據(jù)挖掘和競(jìng)價(jià)拍賣算法。他提出了幾種終身機(jī)器學(xué)習(xí)算法，實(shí)現(xiàn)了自動(dòng)從文本文檔中挖掘信息，并在KDD、ICML、ACL、WWW、IJCAI和AAAI等主要會(huì)議上發(fā)表了超過(guò)15篇長(zhǎng)篇研究論文。他還在IJCAI-2015、KDD-2016和EMNLP-2016上提供了三個(gè)關(guān)于終身機(jī)器學(xué)習(xí)的教程。他曾經(jīng)是許多著名的自然語(yǔ)言處理、數(shù)據(jù)挖掘、人工智能和互聯(lián)網(wǎng)研究會(huì)議的成員，并于2015年獲得伊利諾伊州技術(shù)基金會(huì)頒發(fā)的最有潛力50人獎(jiǎng)，以表彰他的學(xué)術(shù)貢獻(xiàn)。

劉兵（Bing Liu）是伊利諾伊大學(xué)芝加哥分校的杰出教授，在愛(ài)丁堡大學(xué)獲得了博士學(xué)位。他的研究興趣包括終身學(xué)習(xí)、情感分析、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)和自然語(yǔ)言處理，他在頂級(jí)會(huì)議和期刊上發(fā)表了大量論文，其中兩篇論文獲得了KDD 10年Test-of-Time獎(jiǎng)，一篇論文獲得WSDM 10年Test-of-Time獎(jiǎng)。他也是4本書的作者，其中2本關(guān)于情感分析，1本關(guān)于終身學(xué)習(xí)，1本關(guān)于數(shù)據(jù)挖掘。他的一些工作被媒體廣泛報(bào)道，包括《紐約時(shí)報(bào)》的頭版文章。他是2018 ACM SIGKDD創(chuàng)新獎(jiǎng)的獲得者，也是很多頂級(jí)數(shù)據(jù)挖掘會(huì)議（包括KDD、ICDM、CIKM、WSDM、SDM和PAKDD）的程序主席。他同時(shí)是包括TKDE、TWEB、DMKD和TKDD在內(nèi)的頂級(jí)期刊的副編輯，還是很多自然語(yǔ)言處理、人工智能、網(wǎng)絡(luò)和數(shù)據(jù)挖掘會(huì)議的領(lǐng)域主席或者高級(jí)程序委員會(huì)成員，并且曾經(jīng)是2013～2017年ACM SIGKDD的主席，是ACM、AAAI和IEEE會(huì)士。

你還可能感興趣

我要評(píng)論