第1章最優(yōu)化導(dǎo)論

1．1優(yōu)化的定義

1．1．1數(shù)學(xué)模型

1．1．2凸優(yōu)化

1．1．3擬凸函數(shù)

1．1．4全局和局部最優(yōu)

1．2優(yōu)化問(wèn)題的類型

1．2．1連續(xù)與離散優(yōu)化

1．2．2無(wú)約束優(yōu)化與約束優(yōu)化

1．2．3單目標(biāo)優(yōu)化與多目標(biāo)優(yōu)化

1．2．4確定性優(yōu)化與隨機(jī)性優(yōu)化

1．2．5黑盒優(yōu)化和數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化

1．3多目標(biāo)優(yōu)化

1．3．1數(shù)學(xué)模型

1．3．2Pareto最優(yōu)性

1．3．3偏好建模

1．3．4偏好表示

1．4優(yōu)化中不確定性的處理

1．4．1評(píng)價(jià)中的噪聲

1．4．2魯棒優(yōu)化

1．4．3多場(chǎng)景優(yōu)化

1．4．4動(dòng)態(tài)優(yōu)化

1．4．5時(shí)域魯棒優(yōu)化

1．5優(yōu)化算法的對(duì)比

1．5．1算法效率

1．5．2性能指標(biāo)

1．5．3可靠性評(píng)價(jià)

1．5．4統(tǒng)計(jì)測(cè)試

1．5．5基準(zhǔn)問(wèn)題

1．6總結(jié)

第2章經(jīng)典優(yōu)化算法

2．1無(wú)約束優(yōu)化

2．1．1梯度法

2．1．2牛頓法

2．1．3擬牛頓法

2．2約束優(yōu)化

2．2．1懲罰函數(shù)法和障礙函數(shù)法

2．2．2拉格朗日乘子法

2．3無(wú)梯度搜索方法

2．3．1線搜索和模式搜索

2．3．2Nelder�睲ead單純形法

2．3．3基于模型的無(wú)梯度搜索方法

2．4確定性全局優(yōu)化

2．4．1基于Lipschitz的方法

2．4．2DIRECT算法

2．5總結(jié)

第3章進(jìn)化和群智能優(yōu)化

3．1引言

3．2遺傳算法

3．2．1定義

3．2．2表示

3．2．3交叉和變異

3．2．4環(huán)境選擇

3．3實(shí)數(shù)編碼的遺傳算法

3．3．1實(shí)值表示

3．3．2混合交叉

3．3．3模擬二進(jìn)制交叉和多項(xiàng)式變異

3．4進(jìn)化策略

3．4．1(1 1)�睧S

3．4．2基于全局步長(zhǎng)的進(jìn)化策略

3．4．3基于個(gè)體步長(zhǎng)大小的進(jìn)化策略

3．4．4繁殖與環(huán)境選擇

3．4．5協(xié)方差矩陣自適應(yīng)進(jìn)化策略

3．5遺傳規(guī)劃

3．5．1基于樹結(jié)構(gòu)的遺傳規(guī)劃

3．5．2初始化

3．5．3交叉與變異

3．6蟻群優(yōu)化算法

3．6．1整體框架

3．6．2擴(kuò)展應(yīng)用

3．7差分進(jìn)化算法

3．7．1初始化

3．7．2差分變異

3．7．3差分交叉

3．7．4環(huán)境選擇

3．8粒子群優(yōu)化算法

3．8．1傳統(tǒng)的粒子群優(yōu)化算法

3．8．2競(jìng)爭(zhēng)粒子群優(yōu)化器

3．8．3社會(huì)學(xué)習(xí)粒子群優(yōu)化器

3．9模因算法

3．9．1基本概念

3．9．2拉馬克方法和鮑德溫方法

3．9．3多目標(biāo)模因算法

3．9．4鮑德溫效應(yīng)與隱藏效應(yīng)

3．10分布估計(jì)算法

3．10．1一個(gè)簡(jiǎn)單的EDA

3．10．2求解離散優(yōu)化問(wèn)題的EDA

3．10．3求解連續(xù)優(yōu)化問(wèn)題的EDA

3．10．4多目標(biāo)EDA

3．11參數(shù)自適應(yīng)和算法選擇

3．11．1自動(dòng)參數(shù)調(diào)優(yōu)

3．11．2超啟發(fā)式算法

3．11．3適應(yīng)度地形分析

3．11．4自動(dòng)推薦系統(tǒng)

3．12總結(jié)

第4章機(jī)器學(xué)習(xí)簡(jiǎn)介

4．1機(jī)器學(xué)習(xí)問(wèn)題

4．1．1聚類

4．1．2維度約減

4．1．3回歸

4．1．4分類

4．2機(jī)器學(xué)習(xí)模型

4．2．1多項(xiàng)式回歸模型

4．2．2多層感知機(jī)

4．2．3徑向基函數(shù)網(wǎng)絡(luò)

4．2．4支持向量機(jī)

4．2．5高斯過(guò)程

4．2．6決策樹

4．2．7模糊規(guī)則系統(tǒng)

4．2．8集成模型

4．3學(xué)習(xí)算法

4．3．1監(jiān)督學(xué)習(xí)

4．3．2無(wú)監(jiān)督學(xué)習(xí)

4．3．3強(qiáng)化學(xué)習(xí)

4．3．4高階學(xué)習(xí)算法

4．4多目標(biāo)機(jī)器學(xué)習(xí)

4．4．1單目標(biāo)與多目標(biāo)學(xué)習(xí)

4．4．2多目標(biāo)聚類、特征選擇和特征提取

4．4．3多目標(biāo)集成模型生成

4．5深度學(xué)習(xí)模型

4．5．1卷積神經(jīng)網(wǎng)絡(luò)

4．5．2長(zhǎng)短期記憶網(wǎng)絡(luò)

4．5．3自關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)和自編碼器

4．5．4生成對(duì)抗網(wǎng)絡(luò)

4．6進(jìn)化與學(xué)習(xí)的協(xié)同作用

4．6．1進(jìn)化學(xué)習(xí)

4．6．2基于學(xué)習(xí)的進(jìn)化優(yōu)化

4．7小結(jié)

第5章數(shù)據(jù)驅(qū)動(dòng)的代理模型輔助的進(jìn)化優(yōu)化

5．1引言

5．2離線與在線數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化

5．2．1離線數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化

5．2．2在線數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化

5．3在線代理模型管理方法

5．3．1基于種群的模型管理

5．3．2基于世代的模型管理

5．3．3基于個(gè)體的模型管理

5．3．4模因算法中的信任域方法

5．4貝葉斯模型管理

5．4．1獲取函數(shù)

5．4．2進(jìn)化貝葉斯優(yōu)化

5．4．3貝葉斯進(jìn)化優(yōu)化

5．5貝葉斯約束優(yōu)化

5．5．1約束優(yōu)化的獲取函數(shù)

5．5．2兩階段獲取函數(shù)

5．6代理模型輔助的魯棒性優(yōu)化

5．6．1魯棒性優(yōu)化的雙目標(biāo)公式

5．6．2代理模型的構(gòu)建

5．7模型的性能指標(biāo)

5．7．1精度

5．7．2基于選擇的性能指標(biāo)

5．7．3等級(jí)相關(guān)性

5．7．4適應(yīng)度相關(guān)性

5．8總結(jié)

第6章多代理模型輔助的單目標(biāo)優(yōu)化

6．1引言

6．2局部和全局代理模型輔助優(yōu)化

6．2．1集成代理模型

6．2．2多代理模型的單目標(biāo)模因優(yōu)化

6．2．3多代理模型的多目標(biāo)模因優(yōu)化

6．2．4信任域方法輔助的局部搜索

6．2．5實(shí)驗(yàn)結(jié)果

6．3雙層代理模型輔助粒子群算法

6．3．1全局代理模型

6．3．2局部代理模型

6．3．3適應(yīng)度評(píng)估

6．3．4代理模型管理

6．3．5實(shí)驗(yàn)結(jié)果和討論

6．4代理模型委員會(huì)輔助的粒子群優(yōu)化

6．4．1代理模型委員會(huì)

6．4．2填充采樣準(zhǔn)則

6．4．3整體框架

6．4．4基準(zhǔn)問(wèn)題的實(shí)驗(yàn)結(jié)果

6．5分層代理模型輔助的多場(chǎng)景優(yōu)化

6．5．1多場(chǎng)景翼型優(yōu)化

6．5．2多場(chǎng)景優(yōu)化中的分層代理模型

6．6自適應(yīng)代理模型選擇

6．6．1基本思路

6．6．2選擇代理模型的概率模型

6．7小結(jié)

第7章代理模型輔助的多目標(biāo)進(jìn)化優(yōu)化

7．1進(jìn)化多目標(biāo)優(yōu)化

7．1．1假設(shè)和方法論

7．1．2基于分解的方法

7．1．3基于支配關(guān)系的方法

7．1．4基于性能指標(biāo)的方法

7．2高斯過(guò)程輔助隨機(jī)加權(quán)聚合方法

7．2．1代理模型輔助多目標(biāo)優(yōu)化的挑戰(zhàn)

7．2．2高效全局優(yōu)化方法

7．2．3多目標(biāo)優(yōu)化的擴(kuò)展

7．3高斯過(guò)程輔助的基于分解的多目標(biāo)優(yōu)化

7．3．1MOEA/D

7．3．2主要框架

7．3．3局部代理模型

7．3．4代理模型管理

7．3．5討論

7．4高維多目標(biāo)貝葉斯優(yōu)化

7．4．1主要挑戰(zhàn)

7．4．2異構(gòu)集成模型構(gòu)建

7．4．3基于Pareto的多目標(biāo)貝葉斯優(yōu)化方法

7．4．4整體框架

7．5小結(jié)

第8章代理模型輔助的高維多目標(biāo)進(jìn)化優(yōu)化

8．1高維多目標(biāo)優(yōu)化中的新挑戰(zhàn)

8．1．1引言

8．1．2多樣性與偏好

8．1．3拐點(diǎn)搜索

8．1．4求解非規(guī)則Pareto前沿面問(wèn)題

8．2進(jìn)化高維多目標(biāo)進(jìn)化優(yōu)化算法

8．2．1參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化

8．2．2拐點(diǎn)驅(qū)動(dòng)的高維多目標(biāo)優(yōu)化算法

8．2．3雙存檔高維多目標(biāo)優(yōu)化算法

8．2．4高維多目標(biāo)優(yōu)化中的角排序

8．3高斯過(guò)程輔助的參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化

8．3．1模型管理

8．3．2存檔維持

8．4分類代理模型輔助的高維多目標(biāo)優(yōu)化

8．4．1主要框架

8．4．2基于徑向投影選擇

8．4．3基于參考集的支配關(guān)系預(yù)測(cè)

8．4．4代理模型管理

8．4．5代理模型輔助的環(huán)境選擇

8．5dropout神經(jīng)網(wǎng)絡(luò)輔助的高維多目標(biāo)優(yōu)化

8．5．1AR�睲OEA

8．5．2高效深度dropout神經(jīng)網(wǎng)絡(luò)

8．5．3模型管理

8．5．4EDN�睞RMOEA整體框架

8．5．5原油蒸餾裝置的操作優(yōu)化

8．6小結(jié)

第9章數(shù)據(jù)驅(qū)動(dòng)進(jìn)化優(yōu)化中的知識(shí)遷移

9．1引言

9．2基于協(xié)同訓(xùn)練的代理模型輔助交互式優(yōu)化

9．2．1總體框架

9．2．2區(qū)間預(yù)測(cè)的代理模型

9．2．3適應(yīng)度評(píng)估

9．2．4iCSSL

9．2．5模型管理

9．3半監(jiān)督學(xué)習(xí)輔助粒子群優(yōu)化

9．3．1算法框架

9．3．2社會(huì)學(xué)習(xí)粒子群優(yōu)化

9．3．3模型管理策略

9．3．4未標(biāo)記數(shù)據(jù)的選擇

9．3．5實(shí)驗(yàn)結(jié)果與討論

9．4多目標(biāo)優(yōu)化中問(wèn)題之間的知識(shí)遷移

9．4．1遷移學(xué)習(xí)的領(lǐng)域自適應(yīng)

9．4．2從廉價(jià)到昂貴問(wèn)題的知識(shí)遷移

9．4．3用于數(shù)據(jù)增強(qiáng)的CE�睟DA

9．4．4進(jìn)化多目標(biāo)貝葉斯優(yōu)化

9．5多目標(biāo)優(yōu)化中目標(biāo)之間的知識(shí)遷移

9．5．1動(dòng)機(jī)

9．5．2基于參數(shù)的遷移學(xué)習(xí)

9．5．3算法框架

9．6數(shù)據(jù)驅(qū)動(dòng)的多精度遷移優(yōu)化

9．6．1雙精度優(yōu)化中的遷移學(xué)習(xí)

9．6．2遷移堆疊

9．6．3代理模型輔助的雙精度進(jìn)化優(yōu)化

9．6．4實(shí)驗(yàn)結(jié)果

9．7代理模型輔助的多任務(wù)多場(chǎng)景優(yōu)化

9．7．1多場(chǎng)景minimax優(yōu)化

9．7．2代理模型輔助的minimax多因子進(jìn)化優(yōu)化

9．7．3實(shí)驗(yàn)結(jié)果

9．8小結(jié)

第10章代理模型輔助的高維進(jìn)化優(yōu)化

10．1代理模型輔助的協(xié)同優(yōu)化求解高維問(wèn)題

10．1．1RBF 輔助的 SL�睵SO

10．1．2FES 輔助的 PSO

10．1．3存檔更新

10．1．4實(shí)驗(yàn)結(jié)果和分析

10．2高維優(yōu)化中的多目標(biāo)填充準(zhǔn)則

10．2．1主要框架

10．2．2多目標(biāo)填充準(zhǔn)則

10．2．3實(shí)驗(yàn)結(jié)果和分析

10．3針對(duì)昂貴問(wèn)題的多模型多任務(wù)優(yōu)化

10．3．1多因子進(jìn)化算法

10．3．2主要框架

10．3．3全局和局部代理模型

10．3．4基于全局和局部代理模型的多任務(wù)優(yōu)化

10．3．5實(shí)驗(yàn)結(jié)果和分析

10．4隨機(jī)特征選擇下代理模型輔助的大規(guī)模優(yōu)化

10．4．1主要框架

10．4．2子問(wèn)題的形成與優(yōu)化

10．4．3全局最優(yōu)位置的更新

10．4．4實(shí)驗(yàn)結(jié)果和分析

10．5小結(jié)

第11章離線大或小數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化及應(yīng)用

11．1離線急救系統(tǒng)大數(shù)據(jù)驅(qū)動(dòng)優(yōu)化的自適應(yīng)聚類

11．1．1問(wèn)題建模

11．1．2用于離線數(shù)據(jù)驅(qū)動(dòng)優(yōu)化的自適應(yīng)聚類

11．1．3實(shí)驗(yàn)結(jié)果

11．1．4討論

11．2小數(shù)據(jù)驅(qū)動(dòng)多目標(biāo)鎂爐優(yōu)化

11．2．1基于全局代理的模型管理

11．2．2基準(zhǔn)問(wèn)題的驗(yàn)證實(shí)驗(yàn)

11．2．3電熔鎂爐優(yōu)化

11．3面向離線翼型優(yōu)化的選擇性集成模型

11．3．1問(wèn)題建模

11．3．2離線數(shù)據(jù)驅(qū)動(dòng)優(yōu)化的選擇性集成模型

11．3．3對(duì)比實(shí)驗(yàn)結(jié)果

11．4離線數(shù)據(jù)驅(qū)動(dòng)的選礦過(guò)程優(yōu)化中的知識(shí)遷移

11．4．1引言

11．4．2多代理模型優(yōu)化的知識(shí)遷移

11．4．3基于參考向量的最終解選擇

11．4．4選礦工藝優(yōu)化

11．5離線動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)優(yōu)化中的遷移學(xué)習(xí)

11．5．1動(dòng)態(tài)數(shù)據(jù)驅(qū)動(dòng)的優(yōu)化

11．5．2用于增量學(xué)習(xí)的數(shù)據(jù)流集成模型

11．5．3基于集成的遷移優(yōu)化

11．5．4用于最終解選擇的支持向量域描述

11．5．5實(shí)驗(yàn)結(jié)果

11．6小結(jié)

第12章代理模型輔助進(jìn)化神經(jīng)架構(gòu)搜索

12．1神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的挑戰(zhàn)

12．1．1架構(gòu)表示

12．1．2搜索策略

12．1．3性能評(píng)估

12．2神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索中的貝葉斯優(yōu)化

12．2．1架構(gòu)編碼

12．2．2核函數(shù)

12．2．3討論

12．3隨機(jī)森林輔助的神經(jīng)架構(gòu)搜索

12．3．1塊式架構(gòu)表示法

12．3．2離線數(shù)據(jù)產(chǎn)生

12．3．3隨機(jī)森林構(gòu)建

12．3．4搜索方法

12．3．5實(shí)驗(yàn)結(jié)果

12．4小結(jié)

參考文獻(xiàn)