第1章 R語言與統(tǒng)計分析概述 1 1.1 寫在前面的話 1 1.1.1 大數(shù)據(jù)的廣義概念 1 1.1.2 目標定位 2 1.1.3 初識R 3 1.2 R語言入門 3 1.2.1 R中的基本概念 3 1.2.2 R的下載安裝 5 1.2.3 R程序的運行 6 1.2.4 R使用的其他方面 10 1.3 Rstudio簡介 12 1.4 從大數(shù)據(jù)分析案例看統(tǒng)計分析的基本框架 13 1.4.1 數(shù)據(jù)集 14 1.4.2 分析目標和數(shù)據(jù)預處理 16 1.4.3 數(shù)據(jù)的基本分析 17 1.4.4 總體特征的推斷 17 1.4.5 推斷多個變量間的總體相關(guān)性 18 1.4.6 數(shù)據(jù)的聚類 19 1.5 本章涉及的R函數(shù) 19 第2章 R的數(shù)據(jù)組織 20 2.1 R的數(shù)據(jù)對象 20 2.1.1 R對象的類型劃分 20 2.1.2 創(chuàng)建和管理R對象 21 2.2 R數(shù)據(jù)組織的基本方式 22 2.2.1 R向量及其創(chuàng)建與訪問 22 2.2.2 R矩陣和數(shù)組及其創(chuàng)建與訪問 27 2.2.3 R數(shù)據(jù)框及其創(chuàng)建與訪問 32 2.2.4 R列表及其創(chuàng)建與訪問 36 2.3 R數(shù)據(jù)組織的其他問題 37 2.3.1 R對象數(shù)據(jù)的保存 37 2.3.2 通過鍵盤讀入數(shù)據(jù) 38 2.3.3 共享R自帶的數(shù)據(jù)包 39 2.4 大數(shù)據(jù)案例的數(shù)據(jù)結(jié)構(gòu)和R組織 39 2.4.1 讀文本文件數(shù)據(jù)到R數(shù)據(jù)框 39 2.4.2 大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù) 40 2.4.3 大數(shù)據(jù)分析案例：美食餐館食客點評數(shù)據(jù) 41 2.4.3 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù) 42 2.5 本章涉及的R函數(shù) 43 第3章 R的數(shù)據(jù)整理和編程基礎(chǔ) 45 3.1 從大數(shù)據(jù)分析案例看數(shù)據(jù)整理 45 3.1.1 美食餐館食客點評數(shù)據(jù)的整理問題 45 3.1.2 超市顧客購買行為數(shù)據(jù)的整理問題 45 3.1.3 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的整理問題 46 3.2 數(shù)據(jù)的初步整理 46 3.2.1 數(shù)據(jù)整合 46 3.2.2 數(shù)據(jù)篩選 46 3.2.3 大數(shù)據(jù)分析案例：美食餐館食客點評數(shù)據(jù)的初步整理 47 3.3 數(shù)據(jù)質(zhì)量評估 49 3.3.1 缺失數(shù)據(jù)報告 49 3.3.2 異常值排查 50 3.3.3 大數(shù)據(jù)分析案例：美食餐館食客點評數(shù)據(jù)的質(zhì)量評估 50 3.4 數(shù)據(jù)加工 52 3.4.1 數(shù)據(jù)加工管理中的常用函數(shù) 53 3.4.2 數(shù)據(jù)分組和重編碼 59 3.4.3 大數(shù)據(jù)分析案例：利用數(shù)據(jù)加工尋找“人氣”餐館 60 3.5 數(shù)據(jù)管理中的R編程基礎(chǔ) 61 3.5.1 分支結(jié)構(gòu)的流程控制及示例——促銷折扣的計算 61 3.5.2 循環(huán)結(jié)構(gòu)的流程控制及示例：等差數(shù)列的求和 63 3.5.3 用戶自定義函數(shù)及示例：匯總數(shù)據(jù)還原為原始數(shù)據(jù) 65 3.5.4 R編程大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)的RFM計算 67 3.5.5 R編程大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的整理 68 3.6 本章涉及的R函數(shù) 70 第4章 R的基本分析和統(tǒng)計圖形 71 4.1 從大數(shù)據(jù)分析案例看數(shù)據(jù)基本分析 71 4.1.1 美食餐館食客點評數(shù)據(jù)的基本分析 71 4.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的基本分析 72 4.2 R的繪圖基礎(chǔ) 73 4.2.1 圖形設(shè)備和圖形文件 73 4.2.2 圖形組成和圖形參數(shù) 74 4.3 分類型單變量的基本分析 78 4.3.1 計算頻數(shù)分布表 78 4.3.2 分類型變量的基本統(tǒng)計圖形 78 4.3.3 大數(shù)據(jù)分析案例：主打菜的餐館分布有怎樣的特點 79 4.4 數(shù)值型單變量的基本分析 80 4.4.1 計算基本描述統(tǒng)計量 80 4.4.2 數(shù)值型變量的基本統(tǒng)計圖形 81 4.4.3 大數(shù)據(jù)分析案例：餐館評分的分布有怎樣的特點 83 4.5 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的基本分析 85 4.6 本章涉及的R函數(shù) 88 第5章 R的變量相關(guān)性分析和統(tǒng)計圖形 89 5.1 分類型變量相關(guān)性的分析 89 5.1.1 分類型變量相關(guān)性的描述 89 5.1.2 分類型變量相關(guān)性的統(tǒng)計圖形 93 5.1.3 大數(shù)據(jù)分析案例：餐館的區(qū)域分布與主打菜分布是否具有相關(guān)性 93 5.2 數(shù)值型變量相關(guān)性的分析 94 5.2.1 數(shù)值型變量相關(guān)性的描述 94 5.2.2 數(shù)值型變量相關(guān)性的統(tǒng)計圖形 95 5.2.3 大數(shù)據(jù)分析案例：餐館各打分之間、打分與人均消費之間是否具有相關(guān)性 96 5.3 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的相關(guān)性分析 100 5.4 本章涉及的R函數(shù) 102 第6章 R的均值檢驗：單個總體的均值推斷及兩個總體均值的對比 104 6.1 從大數(shù)據(jù)分析案例看推斷統(tǒng)計 104 6.1.1 美食餐館食客點評數(shù)據(jù)分析中的推斷統(tǒng)計問題 104 6.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的推斷統(tǒng)計問題 105 6.2 單個總體的均值推斷 106 6.2.1 以PM2.5總體均值推斷為例看假設(shè)檢驗基本原理 106 6.2.2 大數(shù)據(jù)案例分析：估計供暖季北京市PM2.5濃度的總體均值 110 6.3 兩個總體均值的對比：基于獨立樣本的常規(guī)t檢驗 111 6.3.1 兩個獨立樣本均值t檢驗的原理和R實現(xiàn) 111 6.3.2 深入問題：方差齊性檢驗和R實現(xiàn) 114 6.3.3 大數(shù)據(jù)分析案例：兩個區(qū)域美食餐館人均消費金額是否存在差異 115 6.4 兩個總體均值的對比：置換檢驗 117 6.4.1 兩個獨立樣本均值差的置換檢驗原理和R實現(xiàn) 117 6.4.2 大數(shù)據(jù)分析案例：利用置換檢驗對比兩個區(qū)域美食餐館人均消費金額的總體均值 118 6.5 兩個總體的均值對比：自舉法檢驗 118 6.5.1 兩個獨立樣本均值差的自舉法檢驗原理和R實現(xiàn) 118 6.5.2 大數(shù)據(jù)分析案例：利用自舉法對比兩個區(qū)域美食餐館人均消費金額的總體均值 120 6.6 兩個總體的均值對比：基于配對樣本的常規(guī)t檢驗 121 6.6.1 兩個配對樣本均值t檢驗的原理和R實現(xiàn) 121 6.6.2 大數(shù)據(jù)分析案例：兩個區(qū)域美食餐館口味評分與就餐環(huán)境評分的均值是否存在差異 122 6.7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的均值研究 123 6.8 本章涉及的R函數(shù) 125 第7章 R的方差分析：多個總體均值的對比 127 7.1 從大數(shù)據(jù)分析案例看方差分析 127 7.1.1 美食餐館食客點評數(shù)據(jù)分析中的方差分析問題 127 7.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的方差分析問題 128 7.2 多個總體均值的對比：單因素方差分析 128 7.2.1 單因素方差分析原理和R實現(xiàn) 128 7.2.2 深入問題：方差齊性檢驗和多重比較檢驗 131 7.2.3 大數(shù)據(jù)分析案例：利用單因素方差分析對比不同主打菜餐館人均消費金額的 總體均值 131 7.3 多個總體均值的對比：多因素方差分析 135 7.3.1 多因素方差分析原理和R實現(xiàn) 135 7.3.2 大數(shù)據(jù)分析案例：利用多因素方差分析對比不同主打菜餐館人均消費金額的 總體均值 137 7.4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的均值研究 140 7.5 本章涉及的R函數(shù) 142 第8章 R的線性回歸分析：對數(shù)值變量影響程度的度量和預測 143 8.1 從數(shù)據(jù)分析案例看線性回歸分析 143 8.1.1 美食餐館食客點評數(shù)據(jù)分析中的回歸分析問題 143 8.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的回歸分析問題 143 8.1.3 線性回歸分析的一般步驟 143 8.2 建立回歸方程 145 8.2.1 線性回歸模型和線性回歸方程 145 8.2.2 線性回歸方程的參數(shù)估計和R實現(xiàn) 145 8.2.3 大數(shù)據(jù)分析案例：建立美食餐館食客評分的線性回歸模型 146 8.3 回歸方程的檢驗 147 8.3.1 回歸方程的顯著性檢驗 148 8.3.2 回歸系數(shù)的顯著性檢驗 149 8.3.3 大數(shù)據(jù)分析案例：美食餐館食客評分回歸方程的檢驗 149 8.4 回歸方程的應用 152 8.4.1 回歸方程擬合效果的度量 152 8.4.2 預測和預測誤差 153 8.4.3 大數(shù)據(jù)分析案例：美食餐館食客評分回歸方程的評價和預測 153 8.5 回歸模型的驗證 154 8.5.1 回歸模型的N折交叉驗證法和R實現(xiàn) 155 8.5.2 回歸模型的自舉法驗證和R實現(xiàn) 155 8.5.3 大數(shù)據(jù)分析案例：美食餐館食客評分回歸模型的驗證 156 8.6 虛擬自變量回歸和協(xié)方差分析 157 8.6.1 虛擬自變量回歸 157 8.6.2 協(xié)方差分析 159 8.6.3 大數(shù)據(jù)分析案例：就餐環(huán)境對不同區(qū)域美食餐館人均消費的影響 159 8.7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的回歸分析研究 162 8.8 本章涉及的R函數(shù) 168 第9章 R的Logistic回歸分析：對分類變量影響程度的度量和預測 169 9.1 從大數(shù)據(jù)分析案例看Logistic回歸分析 169 9.1.1 人力資源調(diào)查數(shù)據(jù)分析中的Logistic回歸分析問題 169 9.1.2 Logistic回歸分析的基本建模思路 172 9.2 Logistic回歸方程的解讀 173 9.2.1 Logistic回歸方程的系數(shù) 173 9.2.2 Logistic回歸方程的檢驗 174 9.2.3 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)探討技術(shù)人員離職的原因 176 9.3 Logistic回歸方程的應用 179 9.3.1 Logistic回歸方程擬合效果的評價 179 9.3.2 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)預測技術(shù)人員離職的可能性 180 9.4 本章涉及的R函數(shù) 181 第10章 R的聚類分析：數(shù)據(jù)分組 182 10.1 從大數(shù)據(jù)分析案例看聚類分析 182 10.1.1 超市顧客購買行為數(shù)據(jù)分析中的聚類分析問題 182 10.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的聚類分析問題 183 10.1.3 聚類分析的基本思路 183 10.2 K-Means聚類 185 10.2.1 K-Means聚類原理和R實現(xiàn) 185 10.2.2 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)分析中的K-Means聚類 187 10.3 分層聚類 191 10.3.1 分層聚類原理和R實現(xiàn) 191 10.3.2 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)分析中的分層聚類 192 10.4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的聚類分析研究 195 10.5 本章涉及的R函數(shù) 197 第11章 R的線性判別分析：分類預測 198 11.1 從大數(shù)據(jù)分析案例看判別分析 198 11.1.1 人力資源調(diào)查數(shù)據(jù)分析中的判別分析問題 198 11.1.2 判別分析的數(shù)據(jù)和基本出發(fā)點 199 11.2 距離判別法 199 11.2.1 距離判別的基本思路 199 11.2.2 判別函數(shù)的計算和R實現(xiàn) 201 11.2.3 大數(shù)據(jù)分析案例：利用距離判別預測技術(shù)人員離職的可能性 203 11.3 Fisher判別法 205 11.3.1 Fisher判別的基本原理 205 11.3.2 Fisher判別系數(shù)的求解和R實現(xiàn) 207 11.3.3 大數(shù)據(jù)分析案例：利用Fisher判別預測技術(shù)人員離職的可能性 209 11.4 本章涉及的R函數(shù) 210 第12章 R的因子分析：特征提取 211 12.1 從大數(shù)據(jù)分析案例看因子分析 211 12.1.1 植物物種分類中的因子分析問題 211 12.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的因子分析問題 213 12.2 因子分析基礎(chǔ) 213 12.2.1 因子分析的數(shù)學模型 213 12.2.2 因子分析的特點和基本步驟 215 12.2.3 因子分析的模型評價 216 12.3 確定因子變量 217 12.3.1 主成分分析法的基本原理 217 12.3.2 基于主成分分析法的因子載荷矩陣求解和R實現(xiàn) 219 12.3.3 計算因子得分和R實現(xiàn) 220 12.3.4 大數(shù)據(jù)分析案例：利用因子分析實現(xiàn)植物物種分類中的特征提取 221 12.4 因子變量命名 223 12.4.1 從大數(shù)據(jù)分析案例看因子變量命名的必要性 223 12.4.2 因子旋轉(zhuǎn)的原理和R實現(xiàn) 226 12.4.3 大數(shù)據(jù)分析案例：利用因子分析實現(xiàn)北京市空氣質(zhì)量的區(qū)域綜合評價 227 12.5 本章涉及的R函數(shù) 229