目 錄 第 1章　緒論　1 1.1　日益增長(zhǎng)的數(shù)據(jù)　1 1.1.1　大數(shù)據(jù)基本概念　1 1.1.2　大數(shù)據(jù)發(fā)展歷程　2 1.1.3　大數(shù)據(jù)的特征　3 1.1.4　大數(shù)據(jù)的基本認(rèn)識(shí)　3 1.2　人工智能　4 1.2.1　認(rèn)識(shí)人工智能　4 1.2.2　人工智能的派別與發(fā)展史　4 1.2.3　人工智能的現(xiàn)狀與應(yīng)用　5 1.2.4　當(dāng)人工智能遇上大數(shù)據(jù)　7 1.3　大數(shù)據(jù)與人工智能的機(jī)遇與挑戰(zhàn)　7 1.3.1　大數(shù)據(jù)與人工智能面臨的難題　7 1.3.2　大數(shù)據(jù)與人工智能的前景　8 第 2章　數(shù)據(jù)工程　10 2.1　數(shù)據(jù)的多樣性　10 2.1.1　數(shù)據(jù)格式的多樣性　10 2.1.2　數(shù)據(jù)來(lái)源的多樣性　11 2.1.3　數(shù)據(jù)用途的多樣性　11 2.2　數(shù)據(jù)工程的一般流程　12 2.3　數(shù)據(jù)的獲取　13 2.3.1　數(shù)據(jù)來(lái)源　14 2.3.2　數(shù)據(jù)采集方法　14 2.3.3　大數(shù)據(jù)采集平臺(tái)　15 2.4　數(shù)據(jù)的存儲(chǔ)與數(shù)據(jù)倉(cāng)庫(kù)　16 2.4.1　數(shù)據(jù)存儲(chǔ)　16 2.4.2　數(shù)據(jù)倉(cāng)庫(kù)　16 2.5　數(shù)據(jù)的預(yù)處理技術(shù)　17 2.5.1　數(shù)據(jù)預(yù)處理的目的　17 2.5.2　數(shù)據(jù)清理　18 2.5.3　數(shù)據(jù)集成　19 2.5.4　數(shù)據(jù)變換　19 2.5.5　數(shù)據(jù)歸約　19 2.6　模型的構(gòu)建與評(píng)估　20 2.6.1　模型的構(gòu)建　20 2.6.2　評(píng)價(jià)指標(biāo)　20 2.7　數(shù)據(jù)的可視化　22 2.7.1　可視化的發(fā)展　22 2.7.2　可視化工具　23 第3章　大數(shù)據(jù)框架　28 3.1　Hadoop簡(jiǎn)介　28 3.1.1　Hadoop的由來(lái)　28 3.1.2　MapReduce和HDFS　28 3.2　Hadoop大數(shù)據(jù)處理框架　30 3.2.1　HDFS組件與運(yùn)行機(jī)制　30 3.2.2　MapReduce組件與運(yùn)行機(jī)制　33 3.2.3　YARN框架和運(yùn)行機(jī)制　34 3.2.4　Hadoop相關(guān)技術(shù)　35 3.2.5　Hadoop的安裝　36 3.3　MapReduce編程　39 3.3.1　MapReduce綜述　39 3.3.2　Map階段　40 3.3.3　Shuffle階段　40 3.3.4　Reduce階段　41 3.4　Spark簡(jiǎn)介　41 3.4.1　Spark概述　41 3.4.2　Spark基本概念　42 3.4.3　Spark生態(tài)系統(tǒng)　42 3.4.4　Spark組件與運(yùn)行機(jī)制　44 3.4.5　Spark的安裝　44 3.5　Storm簡(jiǎn)介　47 3.5.1　Storm概述　47 3.5.2　Storm組件和運(yùn)行機(jī)制　48 3.5.3　Storm的應(yīng)用　50 3.5.4　Storm的安裝　50 3.6　Flink簡(jiǎn)介　53 3.6.1　Flink概述　53 3.6.2　Flink組件和運(yùn)行機(jī)制　54 3.6.3　Flink的應(yīng)用　55 3.6.4　Flink的安裝和實(shí)例講解　56 第4章　機(jī)器學(xué)習(xí)算法　58 4.1　機(jī)器學(xué)習(xí)緒論　58 4.1.1　機(jī)器學(xué)習(xí)基本概念　58 4.1.2　評(píng)價(jià)標(biāo)準(zhǔn)　59 4.1.3　機(jī)器模型的數(shù)學(xué)基礎(chǔ)　61 4.2　決策樹(shù)理論　64 4.2.1　決策樹(shù)模型　65 4.2.2　決策樹(shù)的訓(xùn)練　67 4.2.3　本節(jié)小結(jié)　72 4.3　樸素貝葉斯理論　72 4.4　線性回歸　75 4.5　邏輯斯蒂回歸　77 4.5.1　二分類(lèi)邏輯回歸模型　77 4.5.2　二分類(lèi)邏輯斯蒂回歸的訓(xùn)練　79 4.5.3　Softmax分類(lèi)器　81 4.5.4　邏輯斯蒂回歸和softmax的應(yīng)用　81 4.5.5　本節(jié)小結(jié)　82 4.6　支持向量機(jī)　82 4.6.1　間隔　83 4.6.2　支持向量機(jī)的原始形式　84 4.6.3　支持向量機(jī)的對(duì)偶形式　85 4.6.4　特征空間的隱式映射：核函數(shù)　87 4.6.5　支持向量機(jī)拓展　88 4.6.6　支持向量機(jī)的應(yīng)用　89 4.7　集成學(xué)習(xí)　89 4.7.1　基礎(chǔ)概念　89 4.7.2　Boosting　91 4.7.3　Bagging　94 4.7.4　Stacking　95 4.8　神經(jīng)網(wǎng)絡(luò)　95 4.8.1　生物神經(jīng)元和人工神經(jīng)元　95 4.8.2　感知機(jī)　97 4.8.3　BP神經(jīng)網(wǎng)絡(luò)　98 4.8.4　Sklearn中的神經(jīng)網(wǎng)絡(luò)　100 4.8.5　本節(jié)小結(jié)　101 4.9　聚類(lèi)　101 4.9.1　聚類(lèi)思想　101 4.9.2　性能計(jì)算和距離計(jì)算　101 4.9.3　原型聚類(lèi)　102 4.9.4　密度聚類(lèi)　103 4.9.5　層次聚類(lèi)　104 4.9.6　Sklearn中的聚類(lèi)　105 4.9.7　本節(jié)小結(jié)　105 4.10　降維與特征選擇　105 4.10.1　維數(shù)爆炸與降維　105 4.10.2　降維技術(shù)　106 4.10.3　特征選擇技術(shù)　108 4.10.4　Sklearn中的降維　108 4.10.5　本節(jié)小結(jié)　108 第5章　深度學(xué)習(xí)簡(jiǎn)介　110 5.1　從神經(jīng)網(wǎng)絡(luò)到深度神經(jīng)網(wǎng)絡(luò)　110 5.1.1　深度學(xué)習(xí)應(yīng)用　110 5.1.2　深度神經(jīng)網(wǎng)絡(luò)的困難　111 5.2　卷積神經(jīng)網(wǎng)絡(luò)　112 5.2.1　卷積神經(jīng)網(wǎng)絡(luò)的生物學(xué)基礎(chǔ)　112 5.2.2　卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)　113 5.3　循環(huán)神經(jīng)網(wǎng)絡(luò)　116 5.3.1　循環(huán)神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介　116 5.3.2　循環(huán)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)　116 5.4　生成對(duì)抗網(wǎng)絡(luò)　118 5.4.1　生成對(duì)抗網(wǎng)絡(luò)簡(jiǎn)介　118 5.4.2　生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)　119 第6章　強(qiáng)化學(xué)習(xí)簡(jiǎn)介　124 6.1　有限馬爾可夫決策過(guò)程　125 6.1.1　目標(biāo)和獎(jiǎng)勵(lì)　125 6.1.2　回報(bào)和分幕　126 6.1.3　策略和值函數(shù)　127 6.1.4　最優(yōu)策略和最優(yōu)狀態(tài)值函數(shù)　127 6.2　動(dòng)態(tài)規(guī)劃　129 6.2.1　策略評(píng)估　129 6.2.2　策略改進(jìn)　132 6.2.3　策略迭代　133 6.2.4　價(jià)值迭代　134 6.3　時(shí)序差分學(xué)習(xí)　135 6.3.1　時(shí)序差分預(yù)測(cè)　136 6.3.2　TD(0)學(xué)習(xí)　136 6.3.3　Sarsa算法　137 6.3.4　Q學(xué)習(xí)算法　138 6.4　策略梯度方法　139 6.4.1　策略梯度定理　140 6.4.2　蒙特卡羅策略梯度　141 6.4.3　“Actor-Critic”方法　142 6.5　深度強(qiáng)化學(xué)習(xí)　143 6.5.1　深度Q-learning　143 6.5.2　深度確定性策略梯度　146 第7章　數(shù)據(jù)分析實(shí)例　149 7.1　基本數(shù)據(jù)分析　149 7.1.1　數(shù)據(jù)介紹　149 7.1.2　數(shù)據(jù)導(dǎo)入與數(shù)據(jù)初識(shí)　149 7.1.3　分類(lèi)　152 7.1.4　回歸　153 7.1.5　降維　154 7.2　深度學(xué)習(xí)項(xiàng)目實(shí)戰(zhàn)　155 7.2.1　Tensorflow與Keras安裝部署　155 7.2.2　使用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手寫(xiě)數(shù)字識(shí)別　156 7.2.3　使用LSTM進(jìn)行文本情感分類(lèi)　158 參考文獻(xiàn)　162 附錄A　矩陣基礎(chǔ)　163 附錄B　梯度下降　166 附錄C　拉格朗日對(duì)偶性　169 附錄D　Python語(yǔ)法知識(shí)　172 附錄E　Java語(yǔ)法基礎(chǔ)介紹　184