關(guān)于我們
書單推薦
新書推薦
|
分位回歸與復(fù)雜分層結(jié)構(gòu)數(shù)據(jù)分析
具有復(fù)雜分層結(jié)構(gòu)的數(shù)據(jù)在現(xiàn)實生活中很普遍,剖析這類數(shù)據(jù),發(fā)現(xiàn)該類數(shù)據(jù)表象下的潛在規(guī)律對于統(tǒng)計學(xué)等科研領(lǐng)域很有意義。本書致力于介紹復(fù)雜分層數(shù)據(jù)分析的前沿知識,側(cè)重于算法、仿真與實證研究,主要包括兩大塊內(nèi)容:分位回歸與分層—分位回歸。
本書可作為統(tǒng)計學(xué)及其相關(guān)領(lǐng)域大學(xué)生、研究生的教學(xué)參考書,亦可供教師和科技人員參考。
本書致力于介紹復(fù)雜分層數(shù)據(jù)分析的前沿知識,側(cè)重于算法、仿真與實證研究
很多分層數(shù)據(jù)具有以下分層結(jié)構(gòu):我們用變量來描述個體,而個體嵌套在更大單元里,形成金字塔形狀。以教育方面的數(shù)據(jù)為例,學(xué)生被分成班級,班級嵌套在學(xué)校里。學(xué)校上面有社區(qū),社區(qū)上面還有省、國家等。
自20世紀(jì)70年代以來,人們開始研究分層結(jié)構(gòu)數(shù)據(jù)的統(tǒng)計模型。比如,作為對線性模型貝葉斯估計學(xué)術(shù)方面的貢獻(xiàn),Lindley&Smith(1972)和Smith(1973)引入了分層線性模型(HierarchicalLinearModel)這一術(shù)語。然而,近年來分層模型在不同的領(lǐng)域有不同的稱謂:在社會學(xué)研究里,叫作多水平模型(MultilevelModel),參見Mason,Wong&Entwistle(1983),Goldstein(1995);生物統(tǒng)計上則稱為混合效應(yīng)模型(Mixed-e.ectsModel)或者隨機(jī)效應(yīng)模型(Random-e.ectsModel),參見Elston(1962),Laird(1982),Longford(1987)以及Singer(1998);計量經(jīng)濟(jì)學(xué)上稱為隨機(jī)系數(shù)回歸模型(Random-coe.cientRegressionModel),參見Rosenberg(1973)和Longford(1993);在貝葉斯統(tǒng)計里,我們稱之為條件獨立分層模型(ConditionallyIndependentHierarchicalModel),參Kass&Ste.ey(1989)。一般的統(tǒng)計文獻(xiàn)則稱之為協(xié)方差成分模型(CovarianceComponentsModel),DempsterRubin&Tsutakawa(1981)。Hobert(2000)給出了目前有關(guān)擬合分層模型計算方面的熱點問題綜述。 在上述所提到的各種模型背后,現(xiàn)有的分層模型理論主要關(guān)注的是在給定預(yù)測變量X的條件下,擬合響應(yīng)變量Y的條件期望。盡管在很多應(yīng)用中,這些理論能夠應(yīng)付了,然而它們卻不能完全刻畫響應(yīng)變量在各分位點上的情況。例如,學(xué)校平均成績有時候可能會隱藏一些涉及差生與優(yōu)等生方面的問題,因為平均數(shù)本身不能對學(xué)生成績提供一個“譜視”(SpectralView)。 分位回歸(QuantileRegression,QR)方法,亦稱分位數(shù)回歸,產(chǎn)生于30年前。由于它能夠全面刻畫一個條件隨機(jī)變量的各分位點隨協(xié)變量的變化情況,所以近年來它逐漸發(fā)展成為一種綜合的分析線性和非線性模型的統(tǒng)計方法。目前,有大量的文獻(xiàn)是關(guān)于分位回歸研究的。在本書中,我們充分利用了分層模擬與分位回歸的優(yōu)點,提出分層分位回歸模型(HierarchicalQuantileRegressionModels)。這類模型具有如下特點:①能夠全面刻畫出給定高維解釋變量的條件下響應(yīng)變量的各分位點情況;②估計出來的系數(shù)向量,即邊際效應(yīng),對于響應(yīng)變量的離群觀測值來說,是穩(wěn)健的;③在不同分位點上潛在的不同解具有很有用的解釋意義;④沿襲了分層模擬與分位回歸模型二者所有的優(yōu)點。 本書致力于介紹復(fù)雜分層數(shù)據(jù)分析前沿的知識,側(cè)重于算法、仿真與實證研究,以給讀者提供一些復(fù)雜分層數(shù)據(jù)的分位回歸建模知識。 自2004年中國人民大學(xué)統(tǒng)計學(xué)院在全國首開《分位回歸》課程以來,筆者一直擔(dān)任本課程的主講老師。本書的大部分材料在課堂上討論過。本書在寫作過程中,自始至終有以下碩士生、博士生參加過翻譯、校正等工作:李遠(yuǎn)、周朋朋、范潔瑜、張寧、戴成、錢政超、石恒澤、周健、安姝靜、陳博鈺、范博文、范燕、姜春波、馬維華、蘇宇楠、張圓圓、陳彥靚、郭潔、康雁飛、榮耀華、王偉、羅幼喜、儲昭霽、封達(dá)道、李兆媛、司世景、夏文濤、熊巍、何靜、胡亞南、黃雅麗、李茜、劉甦倩、呂爽、朱倩倩、田玉柱、梁曉琳、馬春桃、馬綽欣、孟令賓、王榛、楊亞琦、張亞麗、李二倩、羅靜、史普欣、王曉荷、袁夢、吳延科、晏振等。在此,我對他們表示衷心的感謝! 本書獲得以下基金部分資助:國家自然科學(xué)基金(No.11271368),北京市社會科學(xué)基金重大項目(No.15ZDA17),教育部高等學(xué)校博士學(xué)科點專項科研基金(No.20130004110007),國家社會科學(xué)基金重點項目(No.13AZD064),中國人民大學(xué)科學(xué)研究基金(中央高;究蒲袠I(yè)務(wù)費專項資金資助)項目成果(No.15XNL008),教育部科學(xué)技術(shù)研究重點項目(No.108120),北京市社會科學(xué)基金項目(No.12JGB051)以及蘭州商學(xué)院“飛天學(xué)者特聘計劃”。同時感謝教育部人文社會科學(xué)重點研究基地中國人民大學(xué)應(yīng)用統(tǒng)計研究中心的大力支持。
田茂再,湖南鳳凰人,南開大學(xué)概率統(tǒng)計博士,中國人民大學(xué)統(tǒng)計學(xué)院教授、博士生導(dǎo)師,統(tǒng)計學(xué)家,教育部人文社會科學(xué)重點研究基地中國人民大學(xué)應(yīng)用統(tǒng)計科學(xué)研究中心副主任。澳大利亞墨爾本大學(xué)、德國洪堡大學(xué)、美國耶魯大學(xué)、英國曼徹斯特大學(xué)、布魯奈爾大學(xué)、日本東京大學(xué)以及意大利佛羅倫薩大學(xué)高級訪問教授。
研究領(lǐng)域:復(fù)雜數(shù)據(jù)建模理論。研究成果頗具創(chuàng)新性,深刻推動了統(tǒng)計學(xué)科的進(jìn)步,并影響了相關(guān)學(xué)科的發(fā)展,在實踐領(lǐng)域發(fā)揮著重要作用,得到了國際同行專家的廣泛認(rèn)可。
第1 章分位回歸引論..........................................................3
1.1 引言....................................................................3 1.1.1 分位數(shù)............................................................3 1.1.2 分位回歸..........................................................4 1.1.3 分位回歸方法的演變............................................... 7 1.2 估計方法和算法.......................................................12 1.2.1 參數(shù)分位回歸模型................................................ 12 1.2.2Box-Cox變換分位數(shù)模型..........................................12 1.2.3 非參分位回歸模型................................................ 13 1.2.4 窗寬選擇........................................................ 15 1.2.5 半?yún)⒎治换貧w模型................................................ 16 1.2.6 兩步法...........................................................17 1.3 分位回歸應(yīng)用領(lǐng)域.................................................... 17 1.3.1 執(zhí)行總裁年報酬與公司股本的市場價值關(guān)系......................... 17 1.3.2分位數(shù)恩格爾曲線(EngelCurve).................................. 18 1.3.3 分位回歸和嬰兒體重的決定因素....................................20 1.3.4 醫(yī)學(xué)中參考圖表的應(yīng)用............................................ 22 1.3.5 在生存分析方面的應(yīng)用............................................ 23 1.3.6 風(fēng)險值、分布尾部及分位數(shù)........................................ 24 1.3.7 經(jīng)濟(jì).............................................................24 1.3.8 環(huán)境模型的應(yīng)用.................................................. 24 1.3.9 在檢測異方差性上的應(yīng)用.......................................... 25 1.4 其他方面的進(jìn)展.......................................................25 1.4.1 時間序列的分位回歸.............................................. 25 1.4.2 擬合優(yōu)度........................................................ 26 1.4.3 貝葉斯分位回歸.................................................. 27 1.5 軟件和標(biāo)準(zhǔn)誤差.......................................................27 1.6 文獻(xiàn)介紹.............................................................. 28 第2 章線性分位回歸模擬.................................................... 30 2.1 基本概念.............................................................. 30 2.1.1 基于條件分位函數(shù)的定義.......................................... 30 2.1.2 基于分位回歸模型的定義.......................................... 30 2.1.3 基于損失函數(shù)的定義.............................................. 30 2.1.4 基于非對稱拉普拉斯密度的定義....................................31 2.2 家庭背景因素的影響.................................................. 31 2.3 數(shù)據(jù)...................................................................32 2.4 估計結(jié)果.............................................................. 34 2.4.1 10 年級的影響估計............................................... 34 2.4.2 11 年級的影響估計............................................... 35 2.4.3 12 年級的影響估計............................................... 36 2.5 置信區(qū)間和相關(guān)解釋.................................................. 39 2.5.1 哪一個是最好的?雙親、單親還是沒有父母.......................... 39 2.5.2 為什么我們要關(guān)注兄弟姐妹關(guān)系....................................40 2.5.3 父親和母親之間的影響的區(qū)別是什么............................... 40 2.5.4 性別上有差異嗎.................................................. 40 2.5.5 表現(xiàn)差距在哪里.................................................. 40 2.5.6 語言問題是很嚴(yán)重的問題嗎........................................ 41 2.5.7 本地學(xué)生從數(shù)學(xué)教學(xué)中獲益了嗎....................................41 2.6 結(jié)論...................................................................41 2.7 文獻(xiàn)介紹.............................................................. 42 第3 章非參數(shù)分位回歸模擬................................................. 43 3.1 穩(wěn)健局部逼近......................................................... 43 3.1.1 介紹.............................................................43 3.1.2 LAM 估計的相合性............................................... 44 3.1.3 LAM 估計的漸近分布............................................. 46 3.1.4I=2條件下關(guān)于K和β的最優(yōu)估計.............................. 46 3.1.5 文獻(xiàn)介紹........................................................ 48 3.2 非參數(shù)函數(shù)估計.......................................................48 3.2.1 引言.............................................................48 3.2.2 漸近性質(zhì)........................................................ 50 3.2.3 百分位回歸和預(yù)測區(qū)間............................................ 51 3.2.4 文獻(xiàn)介紹........................................................ 53 3.3 局部線性分位回歸.................................................... 53 3.3.1 引言.............................................................53 3.3.2 局部線性檢驗函數(shù)的最小化........................................ 56 3.3.3 局部線性雙核平滑................................................ 60 3.3.4 實際性能........................................................ 63 3.3.5 文獻(xiàn)介紹........................................................ 66 3.4 教育數(shù)據(jù)分析......................................................... 67 3.4.1 數(shù)據(jù).............................................................68 3.4.2 方法.............................................................69 3.4.3 科學(xué)成績........................................................ 70 3.4.4 數(shù)學(xué)成績........................................................ 73 3.4.5 科學(xué)成績和數(shù)學(xué)成績的關(guān)系........................................ 75 3.4.6 文獻(xiàn)介紹........................................................ 77 第4 章適應(yīng)性分位回歸模擬................................................. 78 4.1 局部常數(shù)適應(yīng)性分位回歸............................................. 78 4.1.1 引言.............................................................78 4.1.2 適應(yīng)性估計...................................................... 79 4.1.3 實現(xiàn).............................................................81 4.1.4 理論性質(zhì)........................................................ 82 4.1.5 蒙特卡洛研究.................................................... 83 4.1.6 不同方法的比較.................................................. 87 4.1.7 局部適應(yīng)性窗寬的自動選擇........................................ 88 4.1.8 應(yīng)用.............................................................91 4.1.9 文獻(xiàn)介紹........................................................ 91 4.2 局部線性適應(yīng)性分位回歸............................................. 92 4.2.1 介紹.............................................................92 4.2.2 局部線性適應(yīng)性估計.............................................. 93 4.2.3 算法.............................................................95 4.2.4 理論性質(zhì)........................................................ 96 4.2.5 蒙特卡洛模擬.................................................... 97 4.2.6 文獻(xiàn)介紹........................................................ 99 第5 章可加性分位回歸模擬................................................ 100 5.1 高維協(xié)變量下可加條件分位回歸..................................... 100 5.1.1 引言............................................................100 5.1.2 方法............................................................102 5.1.3 漸近性質(zhì)....................................................... 105 5.1.4 與后擬合方法在數(shù)值表現(xiàn)上的比較................................ 108 5.1.5 例子............................................................111 5.1.6 文獻(xiàn)介紹....................................................... 115 5.2 可加分位回歸的非參數(shù)估計..........................................115 5.2.1 介紹............................................................116 5.2.2 估計量的正式描述............................................... 118 5.2.3 一個經(jīng)驗例子................................................... 119 5.2.4 漸近結(jié)果....................................................... 121 5.2.5 蒙特卡洛實驗................................................... 125 5.2.6 文獻(xiàn)介紹....................................................... 127 第6 章變系數(shù)分位回歸模擬................................................ 128 6.1 適應(yīng)性變系數(shù)分位回歸.............................................. 128 6.1.1 引言............................................................128 6.1.2 自適應(yīng)估計..................................................... 129 6.1.3 理論性質(zhì)....................................................... 134 6.1.4 實證例子....................................................... 136 6.1.5 文獻(xiàn)介紹....................................................... 141 6.2 異方差變系數(shù)分位回歸.............................................. 141 6.2.1 引言............................................................141 6.2.2局部線性CQR-AQR估計........................................143 6.2.3局部二次CQR-AQR估計........................................147 6.2.4 窗寬選擇....................................................... 148 6.2.5 假設(shè)檢驗....................................................... 149 6.2.6 數(shù)值模擬....................................................... 150 6.2.7 經(jīng)驗應(yīng)用....................................................... 157 6.2.8局部m次多項式CQR-AQR估計................................ 159 6.2.9 文獻(xiàn)介紹....................................................... 161 第7 章單指數(shù)分位回歸模擬................................................ 162 7.1 引言................................................................. 162 7.2 模型與估計.......................................................... 163 7.2.1 模型與局部線性估計............................................. 163 7.2.2 帶寬選擇....................................................... 166 7.3 大樣本性質(zhì).......................................................... 167 7.3.1 非參部分的漸近性............................................... 167 7.3.2 參數(shù)部分的漸近性............................................... 168 7.4 數(shù)值研究.............................................................169 7.4.1 模擬............................................................169 7.4.2 波士頓房價數(shù)據(jù)應(yīng)用............................................. 173 7.5 文獻(xiàn)介紹.............................................................176 第8 章分位自回歸模擬..................................................... 177 8.1 引言................................................................. 177 8.2 模型................................................................. 178 8.2.1 模型界定....................................................... 178 8.2.2 分位自回歸過程的性質(zhì)........................................... 179 8.3 估計................................................................. 181 8.4 分位單調(diào)性.......................................................... 183 8.5 分位自回歸過程的統(tǒng)計推斷..........................................186 8.5.1回歸Wald檢驗過程與相關(guān)檢驗...................................187 8.5.2 非對稱動態(tài)性檢驗............................................... 187 8.6 蒙特卡洛.............................................................189 8.7 實證運用.............................................................191 8.7.1 失業(yè)率......................................................... 192 8.7.2 汽油零售價的動態(tài)性............................................. 192 8.8 文獻(xiàn)介紹.............................................................194 第9 章復(fù)合分位回歸模擬...................................................195 9.1 復(fù)合分位回歸與模型選擇............................................ 195 9.1.1 介紹和動機(jī)..................................................... 195 9.1.2 復(fù)合分位回歸................................................... 197 9.1.3 漸近相對有效性................................................. 198 9.1.4 CQR-Oracular 估計量........................................... 203 9.1.5 模擬研究....................................................... 204 9.1.6 文獻(xiàn)介紹....................................................... 205 9.2 局部復(fù)合分位回歸................................................... 205 9.2.1 引言............................................................205 9.2.2 回歸函數(shù)的估計................................................. 206 9.2.3 導(dǎo)數(shù)的估計..................................................... 210 9.2.4 數(shù)值比較和例子................................................. 214 9.2.5局部p階多項式復(fù)合分位回歸光滑和證明.......................... 220 9.2.6 討論............................................................221 9.2.7 文獻(xiàn)介紹....................................................... 222 第10章高維分位回歸模擬................................................. 223 10.1 引言................................................................ 223 10.2 非凸懲罰的分位回歸................................................224 10.2.1 方法.......................................................... 224 10.2.2 差分凸規(guī)劃及充分局部最優(yōu)性條件............................... 226 10.2.3 漸近性質(zhì)...................................................... 226 10.3 模擬與實際數(shù)據(jù)例子................................................229 10.3.1 模擬研究...................................................... 230 10.3.2 應(yīng)用.......................................................... 232 10.4 文獻(xiàn)介紹............................................................236 第11章貝葉斯分位回歸模擬............................................... 237 11.1 引言................................................................ 237 11.2 非對稱拉普拉斯分布................................................238 11.3 貝葉斯分位回歸.................................................... 239 11.4 參數(shù)的不合適先驗.................................................. 240 11.5 應(yīng)用................................................................ 240 11.5.1 模擬數(shù)據(jù)...................................................... 240 11.5.2免疫球蛋白IgG................................................ 242 11.5.3 煙囪損失...................................................... 242 11.6 文獻(xiàn)介紹............................................................244 下篇分層分位回歸模擬 第12章分層樣條分位回歸模擬.............................................247 12.1 引言................................................................ 247 12.2 條件分位函數(shù)的非參估計........................................... 248 12.3回歸分位數(shù)模型的Wald檢驗.......................................250 12.4 條件分位分層模型及其在家庭用電量需求上的應(yīng)用.................252 12.4.1第一階段:家庭需求周期的時間序列模型..........................252 12.4.2第二階段:需求周期的橫截面模型................................ 253 12.4.3 條件分位數(shù)分層模型............................................ 254 12.5 數(shù)據(jù)的描述......................................................... 255 12.5.1 第一階段結(jié)果.................................................. 256 12.5.2 第二階段結(jié)果.................................................. 257 12.6 文獻(xiàn)介紹............................................................262 第13章分層線性分位回歸模擬.............................................264 13.1 引言................................................................ 264 13.2 分層分位回歸模型.................................................. 264 13.3 EQ 算法............................................................ 265 13.3.1 Q 步.......................................................... 265 13.3.2 E 步.......................................................... 266 13.3.3 迭代.......................................................... 267 13.3.4 初始值選取的基本方法.......................................... 267 13.4 漸近性質(zhì)............................................................267 13.5 真實數(shù)據(jù)分析舉例.................................................. 269 13.5.1 數(shù)據(jù)描述...................................................... 269 13.5.2 分位回歸...................................................... 269 13.5.3 兩水平分層分位回歸模型........................................270 13.5.4 部分結(jié)果...................................................... 272 13.6 文獻(xiàn)介紹............................................................274 第14章分層半?yún)?shù)分位回歸模擬.......................................... 275 14.1 介紹................................................................ 275 14.2 模型和估計......................................................... 276 14.2.1研究J所學(xué)校SES成績之間的關(guān)系..............................277 14.2.2 母親講話對孩子詞匯量的影響................................... 278 14.3 漸近結(jié)果............................................................282 14.4 模擬分析............................................................283 14.4.1 誤差為多元柯西分布的層次線性模型............................. 283 14.4.2 具有異方差的層次非參分位回歸模型............................. 284 14.5 實際數(shù)據(jù)例子....................................................... 286 14.6 文獻(xiàn)介紹............................................................289 第15章復(fù)合分層線性分位回歸模擬........................................ 290 15.1 介紹................................................................ 290 15.2 模型................................................................ 291 15.3 估計................................................................ 292 15.3.1 CQ 步.........................................................292 15.3.2 E 步.......................................................... 292 15.3.3 迭代.......................................................... 293 15.4 漸近性質(zhì)............................................................294 15.4.1 誤差項為正態(tài)分布.............................................. 294 15.4.2 誤差項分布非正態(tài).............................................. 295 15.5 模擬................................................................ 296 15.5.1 誤差項為正態(tài)分布.............................................. 296 15.5.2 誤差項為柯西分布.............................................. 296 15.5.3 離群點........................................................ 297 15.5.4 選擇最優(yōu)K ....................................................298 15.6 實證部分............................................................299 15.6.1 描述數(shù)據(jù)...................................................... 299 15.6.2 多水平模型中的數(shù)據(jù)分析........................................299 15.6.3 結(jié)果.......................................................... 300 15.7 文獻(xiàn)介紹............................................................302 第16章復(fù)合分層半?yún)?shù)分位回歸模擬..................................... 303 16.1 介紹................................................................ 303 16.2 模型................................................................ 304 16.2.1 第一層單元內(nèi)部模型............................................ 304 16.2.2 第二層單元之間模型............................................ 304 16.3 估計與算法......................................................... 305 16.4 漸近性質(zhì)............................................................306 16.5 模擬研究............................................................308 16.5.1 對于不同的誤差項分布.......................................... 308 16.5.2對于Y存在異常值的情況.......................................310 16.5.3 函數(shù)及其導(dǎo)數(shù)估計.............................................. 311 16.6 實際數(shù)據(jù)分析....................................................... 312 16.6.1 第一次層模型.................................................. 314 16.6.2 第二次層模型.................................................. 314 16.7 文獻(xiàn)介紹............................................................315 參考文獻(xiàn).................................................................317
你還可能感興趣
我要評論
|