目錄 CONTENTS

項目1

初識動態(tài)網(wǎng)頁數(shù)據(jù)采集與

預(yù)處理　1

項目導(dǎo)言　1

思維導(dǎo)圖　1

知識目標(biāo)　1

技能目標(biāo)　1

素養(yǎng)目標(biāo)　2

任務(wù)1-1　認(rèn)識數(shù)據(jù)采集與預(yù)處理　2

任務(wù)描述　2

素質(zhì)拓展　2

任務(wù)技能　2

技能點(diǎn)1　認(rèn)識大數(shù)據(jù)來源　2

技能點(diǎn)2　認(rèn)識數(shù)據(jù)采集　5

技能點(diǎn)3　認(rèn)識數(shù)據(jù)預(yù)處理　10

任務(wù)1-2　搭建數(shù)據(jù)采集與預(yù)處理開發(fā)

環(huán)境　14

任務(wù)描述　14

素質(zhì)拓展　14

任務(wù)技能　14

技能點(diǎn)1　認(rèn)識PyCharm　14

技能點(diǎn)2　下載及安裝PyCharm　15

技能點(diǎn)3　使用PyCharm　18

任務(wù)實施　20

項目小結(jié)　24

課后習(xí)題　24

自我評價　25



項目2

動態(tài)網(wǎng)頁數(shù)據(jù)采集　26

項目導(dǎo)言　26

思維導(dǎo)圖　26

知識目標(biāo)　26

技能目標(biāo)　26

素養(yǎng)目標(biāo)　27

任務(wù)2-1　使用Urllib庫完成新聞

動態(tài)網(wǎng)頁數(shù)據(jù)采集　27

任務(wù)描述　27

素質(zhì)拓展　27

任務(wù)技能　27

技能點(diǎn)1　request模塊　27

技能點(diǎn)2　error模塊　30

技能點(diǎn)3　parse模塊　31

任務(wù)實施　32

任務(wù)2-2　使用Requests庫完成

浪潮云說網(wǎng)頁數(shù)據(jù)

采集　36

任務(wù)描述　36

素質(zhì)拓展　37

任務(wù)技能　37

技能點(diǎn)1　Requests庫的簡介及

安裝　37

技能點(diǎn)2　Requests庫的基本使用

方法　38

技能點(diǎn)3　Requests庫的高級使用

方法　42

任務(wù)實施　45

項目小結(jié)　48

課后習(xí)題　48

自我評價　49



項目3

動態(tài)網(wǎng)頁數(shù)據(jù)解析　50

項目導(dǎo)言　50

思維導(dǎo)圖　50

知識目標(biāo)　50

技能目標(biāo)　50

素養(yǎng)目標(biāo)　51

任務(wù)3-1　使用XPath解析新聞

動態(tài)網(wǎng)頁數(shù)據(jù)　51

任務(wù)描述　51

素質(zhì)拓展　51

任務(wù)技能　51

技能點(diǎn)1　XPath的簡介　51

技能點(diǎn)2　定位　55

技能點(diǎn)3　數(shù)據(jù)提取　57

任務(wù)實施　58

任務(wù)3-2　使用Beautiful Soup

解析浪潮云說網(wǎng)頁

數(shù)據(jù)　63

任務(wù)描述　63

素質(zhì)拓展　63

任務(wù)技能　63

技能點(diǎn)1　Beautiful Soup的安裝　64

技能點(diǎn)2　Beautiful Soup的使用　65

任務(wù)實施　68

項目小結(jié)　75

課后習(xí)題　75

自我評價　76



項目4

基于Scrapy實現(xiàn)動態(tài)網(wǎng)頁

數(shù)據(jù)采集與存儲　77

項目導(dǎo)言　77

思維導(dǎo)圖　77

知識目標(biāo)　77

技能目標(biāo)　77

素養(yǎng)目標(biāo)　78

任務(wù)4-1　使用Scrapy框架完成

新聞公告頁面數(shù)據(jù)采集

與存儲　78

任務(wù)描述　78

素質(zhì)拓展　78

任務(wù)技能　78

技能點(diǎn)1　Scrapy的簡介及安裝　78

技能點(diǎn)2　Scrapy的操作指令　82

技能點(diǎn)3　段定義及Scrapy設(shè)置　83

技能點(diǎn)4　文本解析　89

技能點(diǎn)5　內(nèi)容存儲　93

任務(wù)實施　95

項目小結(jié)　104

課后習(xí)題　104

自我評價　105



項目5

動態(tài)網(wǎng)頁訪問日志數(shù)據(jù)

采集　106

項目導(dǎo)言　106

思維導(dǎo)圖　106

知識目標(biāo)　106

技能目標(biāo)　106

素養(yǎng)目標(biāo)　107

任務(wù)5-1　使用Flume采集某官網(wǎng)

訪問日志數(shù)據(jù)　107

任務(wù)描述　107

素質(zhì)拓展　107

任務(wù)技能　107

技能點(diǎn)1　Flume的簡介　107

技能點(diǎn)2　Flume數(shù)據(jù)采集配置　110

技能點(diǎn)3　Flume的啟動方法　119

技能點(diǎn)4　Flume攔截器配置　122

任務(wù)實施　125

任務(wù)5-2　使用Kafka消費(fèi)Flume中

某官網(wǎng)訪問日志數(shù)據(jù)　129

任務(wù)描述　129

素質(zhì)拓展　130

任務(wù)技能　130

技能點(diǎn)1　Kafka的簡介　130

技能點(diǎn)2　Kafka的配置　131

技能點(diǎn)3　Kafka腳本操作　134

技能點(diǎn)4　Kafka Python API　137

任務(wù)實施　140

項目小結(jié)　144

課后習(xí)題　144

自我評價　145



項目6

動態(tài)網(wǎng)頁數(shù)據(jù)預(yù)處理　146

項目導(dǎo)言　146

思維導(dǎo)圖　146

知識目標(biāo)　147

技能目標(biāo)　147

素養(yǎng)目標(biāo)　147

任務(wù)6-1　使用Pandas實現(xiàn)新聞動態(tài)

網(wǎng)頁數(shù)據(jù)預(yù)處理　147

任務(wù)描述　147

素質(zhì)拓展　147

任務(wù)技能　148

技能點(diǎn)1　Pandas的簡介　148

技能點(diǎn)2　Pandas的數(shù)據(jù)結(jié)構(gòu)　148

技能點(diǎn)3　Pandas的基本功能　149

技能點(diǎn)4　匯總和描述統(tǒng)計　155

技能點(diǎn)5　處理缺失數(shù)據(jù)　157

任務(wù)實施　158

任務(wù)6-2　使用Pig實現(xiàn)浪潮云說

網(wǎng)頁數(shù)據(jù)預(yù)處理　161

任務(wù)描述　161

素質(zhì)拓展　161

任務(wù)技能　162

技能點(diǎn)1　Pig的簡介　162

技能點(diǎn)2　Pig配置運(yùn)行　162

技能點(diǎn)3　Pig Latin執(zhí)行　165

技能點(diǎn)4　運(yùn)算符　166

技能點(diǎn)5　內(nèi)置函數(shù)　171

任務(wù)實施　177

任務(wù)6-3　使用ELK實現(xiàn)某官網(wǎng)日志

數(shù)據(jù)預(yù)處理　182

任務(wù)描述　182

素質(zhì)拓展　182

任務(wù)技能　182

技能點(diǎn)1　Elasticsearch　182

技能點(diǎn)2　Logstash　184

技能點(diǎn)3　Kibana　195

任務(wù)實施　200

項目小結(jié)　207

課后習(xí)題　207

自我評價　208