第一部分 Hadoop系統(tǒng)
第1章 大數據處理技術簡介
1.1 并行計算技術簡介
1.1.1 并行計算的基本概念
1.1.2 并行計算技術的分類
1.1.3 并行計算的主要技術問題
1.2 大數據處理技術簡介
1.2.1 大數據的發(fā)展背景和研究意義
1.2.2 大數據的技術特點
1.2.3 大數據研究的主要目標、基本原則和基本途徑
1.2.4 大數據計算模式和系統(tǒng)
1.2.5 大數據計算模式的發(fā)展趨勢
1.2.6 大數據的主要技術層面和技術內容
1.3 MapReduce并行計算技術簡介
1.3.1 MapReduce的基本概念和由來
1.3.2 MapReduce的基本設計思想
1.3.3 MapReduce的主要功能和技術特征
1.4 Hadoop系統(tǒng)簡介
1.4.1 Hadoop的概述與發(fā)展歷史
1.4.2 Hadoop系統(tǒng)分布式存儲與并行計算構架
1.4.3 Hadoop平臺的基本組成與生態(tài)系統(tǒng)
1.4.4 Hadoop的應用現(xiàn)狀和發(fā)展趨勢
第2章 Hadoop系統(tǒng)的安裝與操作管理
2.1 Hadoop系統(tǒng)安裝方法簡介
2.2 單機和單機偽分布式Hadoop系統(tǒng)安裝基本步驟
2.2.1 安裝和配置JDK
2.2.2 創(chuàng)建Hadoop用戶
2.2.3 下載安裝Hadoop
2.2.4 配置SSH
2.2.5 配置Hadoop環(huán)境
2.2.6 Hadoop的運行
2.2.7 運行測試程序
2.2.8 查看集群狀態(tài)
2.3 集群分布式Hadoop系統(tǒng)安裝基本步驟
2.3.1 安裝和配置JDK
2.3.2 創(chuàng)建Hadoop用戶
2.3.3 下載安裝Hadoop
2.3.4 配置SSH
2.3.5 配置Hadoop環(huán)境
2.3.6 Hadoop的運行
2.3.7 運行測試程序
2.3.8 查看集群狀態(tài)
2.4 Hadoop& ；MapReduce程序開發(fā)過程
2.5 集群遠程作業(yè)提交與執(zhí)行
2.5.1 集群遠程作業(yè)提交和執(zhí)行過程
2.5.2 查看作業(yè)執(zhí)行結果和集群狀態(tài)
第3章 大數據存儲--分布式文件系統(tǒng)HDFS
3.1 HDFS的基本特征與構架
3.1.1 HDFS的基本特征
3.1.2 HDFS的基本框架與工作過程
3.2 HDFS可靠性設計
3.2.1 HDFS數據塊多副本存儲設計
3.2.2 HDFS可靠性的設計實現(xiàn)
3.3 HDFS文件存儲組織與讀寫
3.3.1 文件數據的存儲組織
3.3.2 數據的讀寫過程
3.4 HDFS文件系統(tǒng)操作命令
3.4.1 HDFS啟動與關閉
3.4.2 HDFS文件操作命令格式與注意事項
3.4.3 HDFS文件操作命令
3.4.4 高級操作命令和工具
3.5 HDFS基本編程接口與示例
3.5.1 HDFS編程基礎知識
3.5.2 HDFS基本文件操作API
3.5.3 HDFS基本編程實例
第4章 Hadoop& ；MapReduce并行編程框架
4.1 MapReduce基本編程模型和框架
4.1.1 MapReduce并行編程抽象模型
4.1.2 MapReduce的完整編程模型和框架
4.2 Hadoop& ；MapReduce基本構架與工作過程
4.2.1 Hadoop系統(tǒng)構架和MapReduce程序執(zhí)行過程
4.2.2 Hadoop& ；MapReduce執(zhí)行框架和作業(yè)執(zhí)行流程
4.2.3 Hadoop& ；MapReduce作業(yè)調度過程和調度方法
4.2.4 MapReduce執(zhí)行框架的組件和執(zhí)行流程
4.3 Hadoop& ；MapReduce主要組件與編程接口
4.3.1 數據輸入格式InputFormat
4.3.2 輸入數據分塊InputSplit
4.3.3 數據記錄讀入RecordReader
4.3.4 Mapper類
4.3.5 Combiner
4.3.6 Partitioner
4.3.7 Sort
4.3.8 Reducer類
4.3.9 數據輸出格式OutputFormat
4.3.10 數據記錄輸出RecordWriter
第5章 分布式數據庫HBase
5.1 HBase簡介
5.1.1 為什么需要NoSQL數據庫
5.1.2 HBase的作用和功能特點
5.2 HBase的數據模型
5.2.1 HBase的基本數據模型
5.2.2 HBase的查詢模式
5.2.3 HBase表設計
5.3 HBase的基本構架與數據存儲管理方法
5.3.1 HBase在Hadoop生態(tài)中的位置和關系
5.3.2 HBase的基本組成結構
5.3.3 HBase& ；Region
5.3.4 Region& ；Server
5.3.5 HBase的總體組成結構
5.3.6 HBase的尋址和定位
5.3.7 HBase節(jié)點的上下線管理
5.4 HBase安裝與操作
5.4.1 安裝一個單機版的HBase
5.4.2 HBase& ；Shell操作命令
5.4.3 基于集群的HBase安裝和配置
5.5 HBase的編程接口和編程示例
5.5.1 表創(chuàng)建編程接口與示例
5.5.2 表數據更新編程接口與示例
5.5.3 數據讀取編程接口與示例
5.5.4 HBase& ；MapReduce支持和編程示例
5.6 HBase的讀寫操作和特性
5.6.1 HBase的數據寫入
5.6.2 HBase的數據讀取
5.7 其他HBase功能
5.7.1 Coprocessor
5.7.2 批量數據導入Bulk& ；Load
第6章 分布式數據倉庫Hive
6.1 Hive的作用與結構組成
6.2 Hive的數據模型
6.2.1 Hive的數據存儲模型
6.2.2 Hive的元數據存儲管理
6.2.3 Hive的數據類型
6.3 Hive的安裝
6.3.1 下載Hive安裝包
6.3.2 配置環(huán)境變量
6.3.3 創(chuàng)建Hive數據文件目錄
6.3.4 修改Hive配置文件
6.4 Hive查詢語言--HiveQL
6.4.1 DDL語句
6.4.2 DML語句
6.4.3 SELECT查詢語句
6.4.4 數據表操作語句示例
6.4.5 分區(qū)的使用
6.4.6 桶的使用
6.4.7 子查詢
6.4.8 Hive的優(yōu)化和高級功能
6.5 Hive& ；JDBC編程接口與程序設計
第7章 Intel& ；Hadoop系統(tǒng)優(yōu)化與功能增強
7.1 Intel& ；Hadoop系統(tǒng)簡介
7.1.1 Intel& ；Hadoop系統(tǒng)的主要優(yōu)化和增強功能
7.1.2 Intel& ；Hadoop的系統(tǒng)構成與組件
7.2 Intel& ；Hadoop系統(tǒng)的安裝和管理
7.3 Intel& ；Hadoop& ；HDFS的優(yōu)化和功能擴展
7.3.1 HDFS的高可用性
7.3.2 Intel& ；Hadoop系統(tǒng)高可用性配置服務
7.3.3 Intel& ；Hadoop系統(tǒng)高可用性配置服務操作
7.3.4 自適應數據塊副本調整策略
7.4 Intel& ；Hadoop& ；HBase的功能擴展和編程示例
7.4.1 HBase大對象存儲（LOB）
7.4.2 加鹽表
7.4.3 HBase跨數據中心大表
7.5 Intel& ；Hadoop& ；Hive的功能擴展和編程示例
7.5.1 開源Hive的不足
7.5.2 Intel& ；Hadoop“Hive& ；over& ；HBase”優(yōu)化設計
7.5.3 Hive& ；over& ；HBase的架構
第二部分 MapReduce的編程和算法設計
第8章 MapReduce基礎算法程序設計
8.1 WordCount
8.1.1 WordCount算法編程實現(xiàn)
8.2 矩陣乘法
8.2.1 矩陣乘法原理和實現(xiàn)思路
8.2.2 矩陣乘法的MapReduce程序實現(xiàn)
8.3 關系代數運算
8.3.1 選擇操作
8.3.2 投影操作
8.3.3 交運算
8.3.4 差運算
8.3.5 自然連接
8.4 單詞共現(xiàn)算法
8.4.1 單詞共現(xiàn)算法的基本設計
8.4.2 單詞共現(xiàn)算法的實現(xiàn)
8.4.3 單詞共現(xiàn)算法實現(xiàn)中的細節(jié)問題
8.5 文檔倒排索引
8.5.1 簡單的文檔倒排索引
8.5.2 帶詞頻等屬性的文檔倒排索引
8.6 PageRank網頁排名算法
8.6.1 PageRank的簡化模型
8.6.2 PageRank的隨機瀏覽模型
8.6.3 PageRank的MapReduce實現(xiàn)
8.7 專利文獻分析算法
8.7.1 構建專利被引用列表
8.7.2 專利被引用次數統(tǒng)計
8.7.3 專利被引用次數直方圖統(tǒng)計
8.7.4 按照年份或國家統(tǒng)計專利數
第9章 MapReduce高級程序設計技術
9.1 簡介
9.2 復合鍵值對的使用
9.2.1 把小的鍵值對合并成大的鍵值對
9.2.2 巧用復合鍵讓系統(tǒng)完成排序
9.3 用戶定制數據類型
9.3.1 Hadoop內置的數據類型
9.3.2 用戶自定義數據類型的實現(xiàn)
9.4 用戶定制數據輸入輸出格式
9.4.1 Hadoop內置的數據輸入格式與RecordReader
9.4.2 用戶定制數據輸入格式與RecordReader
9.4.3 Hadoop內置的數據輸出格式與RecordWriter
9.4.4 用戶定制數據輸出格式與RecordWriter
9.4.5 通過定制數據輸出格式實現(xiàn)多集合文件輸出
9.5 用戶定制Partitioner和Combiner
9.5.1 用戶定制Partitioner
9.5.2 用戶定制Combiner
9.6 組合式MapReduce計算作業(yè)
9.6.1 迭代MapReduce計算任務
9.6.2 順序組合式MapReduce作業(yè)的執(zhí)行
9.6.3 具有復雜依賴關系的組合式MapReduce作業(yè)的執(zhí)行
9.6.4 MapReduce前處理和后處理步驟的鏈式執(zhí)行
9.7 多數據源的連接
9.7.1 基本問題數據示例
9.7.2 用DataJoin類實現(xiàn)Reduce端連接
9.7.3 用全局文件復制方法實現(xiàn)Map端連接
9.7.4 帶Map端過濾的Reduce端連接
9.7.5 多數據源連接解決方法的限制
9.8 全局參數/數據文件的傳遞與使用
9.8.1 全局作業(yè)參數的傳遞
9.8.2 查詢全局的MapReduce作業(yè)屬性
9.8.3 全局數據文件的傳遞
9.9 關系數據庫的連接與訪問
9.9.1 從數據庫中輸入數據
9.9.2 向數據庫中輸出計算結果
第10章 MapReduce數據挖掘基礎算法
10.1 K-Means聚類算法
10.1.1 K-Means聚類算法簡介
10.1.2 基于MapReduce的K-Means算法的設計實現(xiàn)
10.2 KNN最近鄰分類算法
10.2.1 KNN最近鄰分類算法簡介
10.2.2 基于MapReduce的KNN算法的設計實現(xiàn)
10.3 樸素貝葉斯分類算法
10.3.1 樸素貝葉斯分類算法簡介
10.3.2 樸素貝葉斯分類并行化算法的設計
10.3.3 樸素貝葉斯分類并行化算法的實現(xiàn)
10.4 決策樹分類算法
10.4.1 決策樹分類算法簡介
10.4.2 決策樹并行化算法的設計
10.4.3 決策樹并行化算法的實現(xiàn)
10.5 頻繁項集挖掘算法
10.5.1 頻繁項集挖掘問題描述
10.5.2& ； Apriori頻繁項集挖掘算法簡介
10.5.3 Apriori頻繁項集挖掘并行化算法的設計
10.5.4 Apriori頻繁項集挖掘并行化算法的實現(xiàn)
10.5.5 基于子集求取的頻繁項集挖掘算法的設計
10.5.6 基于子集求取的頻繁項集挖掘并行化算法的實現(xiàn)
10.6 隱馬爾科夫模型和最大期望算法
10.6.1 隱馬爾科夫模型的基本描述
10.6.2 隱馬爾科夫模型問題的解決方法
10.6.3 最大期望算法概述
10.6.4 并行化隱馬爾科夫算法設計
10.6.5 隱馬爾科夫算法的并行化實現(xiàn)
第11章 大數據處理算法設計與應用編程案例
11.1 基于MapReduce的搜索引擎算法
11.1.1 搜索引擎工作原理簡介
11.1.2 基于MapReduce的文檔預處理
11.1.3 基于MapReduce的文檔倒排索引構建
11.1.4 建立Web信息查詢服務
11.2 基于MapReduce的大規(guī)模短文本多分類算法
11.2.1 短文本多分類算法工作原理簡介
11.2.2 并行化分類訓練算法設計實現(xiàn)
11.2.3 并行化分類預測算法設計實現(xiàn)
11.3 基于MapReduce的大規(guī)�；蛐蛄斜葘λ惴�
11.3.1 基因序列比對算法簡介
11.3.2 并行化BLAST算法的設計與實現(xiàn)
11.4 基于MapReduce的大規(guī)模城市路徑規(guī)劃算法
11.4.1 問題背景和要求
11.4.2 數據輸入
11.4.3 程序設計要求
11.4.4 算法設計總體框架和處理過程
11.4.5 并行化算法的設計與實現(xiàn)
11.5 基于MapReduce的大規(guī)模重復文檔檢測算法
11.5.1 重復文檔檢測問題描述
11.5.2 重復文檔檢測方法和算法設計
11.5.3 重復文檔檢測并行化算法設計實現(xiàn)
11.6 基于內容的并行化圖像檢索算法與引擎
11.6.1 基于內容的圖像檢索問題概述
11.6.2 圖像檢索方法和算法設計思路
11.6.3 并行化圖像檢索算法實現(xiàn)
11.7 基于MapReduce的大規(guī)模微博傳播分析
11.7.1 微博分析問題背景與并行化處理過程
11.7.2 并行化微博數據獲取算法的設計實現(xiàn)
11.7.3 并行化微博數據分析算法的設計實現(xiàn)
11.8 基于關聯(lián)規(guī)則挖掘的圖書推薦算法
11.8.1 圖書推薦和關聯(lián)規(guī)則挖掘簡介
11.8.2 圖書頻繁項集挖掘算法設計與數據獲取
11.8.3 圖書關聯(lián)規(guī)則挖掘并行化算法實現(xiàn)
11.9 基于Hadoop的城市智能交通綜合應用案例
11.9.1 應用案例概述
11.9.2 案例一：交通事件檢測
11.9.3 案例二：交通流統(tǒng)計分析功能
11.9.4 案例三：道路旅行時間分析
11.9.5 案例四：HBase實時查詢
11.9.6 案例五：HBase& ；Endpoint快速統(tǒng)計
11.9.7 案例六：利用Hive高速統(tǒng)計
附錄
附錄A OpenMP并行程序設計簡介
附錄B MPI并行程序設計簡介
附錄C 英特爾Apache& ；Hadoop*系統(tǒng)安裝手冊
參考文獻
4）從大數據處理響應性能看，大數據處理可分為實時／準實時與非實時計算，或者是聯(lián)機計算與線下計算。前述的流式計算通常屬于實時計算，此外查詢分析類計算通常也要求具有高響應性能，因而也可以歸為實時或準實時計算。而批處理計算和復雜數據挖掘計算通常屬于非實時或線下計算。
5）從數據關系角度看，大數據可分為簡單關系數據（如Web日志）和復雜關系數據（如社會網絡等具有復雜數據關系的網計算）。
6）從迭代計算角度看，現(xiàn)實世界的數據處理中有很多計算問題需要大量的迭代計算，諸如一些機器學習等復雜的計算任務會需要大量的迭代計算，為此需要提供具有高效的迭代計算能力的大數據處理和計算方法。
7）從并行計算體系結構特征角度看，由于需要支持大規(guī)模數據的存儲和計算，因此目前絕大多數大數據處理都使用基于集群的分布式存儲與并行計算體系結構和硬件平臺。MapReduce是最為成功的分布式存儲和并行計算模式。然而，基于磁盤的數據存儲和計算模式使MapReduce難以實現(xiàn)高響應性能。為此人們從分布計算體系結構層面上又提出了內存計算的概念和技術方法。
1．2．3大數據研究的主要目標、基本原則和基本途徑
1．大數據研究的主要目標
大數據研究的主要目標是，以有效的信息技術手段和計算方法，獲取、處理和分析各種應用行業(yè)的大數據，發(fā)現(xiàn)和提取數據的深度價值，為行業(yè)提供高附加值的應用和服務。因此，大數據研究的核心目標是價值發(fā)現(xiàn)，而其技術手段是信息技術和計算方法，其效益目標是為行業(yè)提供高附加值的應用和服務。
2．大數據研究的基本特點。
大數據研究具有以下幾方面的主要特點：
1）大數據處理具有很強的行業(yè)應用需求特性，因此大數據技術研究必須緊扣行業(yè)應用需求。
2）大數據規(guī)模極大，超過任何傳統(tǒng)數據庫系統(tǒng)的處理能力。
3）大數據處理技術綜合性強，任何單一層面的計算技術都難以提供理想的解決方案，需要采用綜合性的軟硬件技術才能有效處理。
4）大數據處理時，大多數傳統(tǒng)算法都面臨失效，需要重寫。
3．大數據研究的基本原則
大數據研究的基本原則是：
1）應用需求為導向：由于大數據問題來自行業(yè)應用，因此大數據的研究需要以行業(yè)應用問題和需求為導向，從行業(yè)實際的應用需求和存在的技術難題入手，研究解決有效的處理技術和解決方案。
2）領域交叉為橋梁：由于大數據技術有典型的行業(yè)應用特征，因此大數據技術研究和應用開發(fā)需要由計算技術人員、數據分析師、具備專業(yè)知識的領域專家相互配合和協(xié)同，促進應用行業(yè)、IT產業(yè)與計算技術研究機構的交叉融合，來提供良好的大數據解決方法。
3）技術綜合為支撐：與傳統(tǒng)的單一層面的計算技術研究和應用不同，大數據處理是幾乎整個計算技術和信息技術的融合，只有采用技術交叉融合的方法才能提供較為完善的大數據處理方法。
……
書單推薦
