目錄
第1章 最優(yōu)化理論基礎(chǔ) 1
1.1 最優(yōu)化問(wèn)題的數(shù)學(xué)模型 1
1.2 向量和矩陣范數(shù) 2
1.3 函數(shù)的可微性與展開(kāi) 3
1.4 凸集與凸函數(shù) 6
1.5 無(wú)約束問(wèn)題的最優(yōu)性條件 9
1.6 無(wú)約束優(yōu)化問(wèn)題的算法框架 11
習(xí)題1 13
第2章 線搜索技術(shù) 14
2.1 精確線搜索及其Matlab實(shí)現(xiàn) 15
2.1.1 黃金分割法 15
2.1.2 拋物線法 18
2.2 非精確線搜索及其Matlab實(shí)現(xiàn) 21
2.2.1 Wolfe準(zhǔn)則 22
2.2.2 Armijo準(zhǔn)則 22
2.3 線搜索法的收斂性 24
習(xí)題2 27
第3章 最速下降法和牛頓法 29
3.1 最速下降方法及其Matlab實(shí)現(xiàn) 29
3.2 牛頓法及其Matlab實(shí)現(xiàn) 32
3.3 修正牛頓法及其Matlab實(shí)現(xiàn) 37
習(xí)題3 41
第4章 共軛梯度法 42
4.1 共軛方向法 42
4.2 共軛梯度法 44
4.3 共軛梯度法的Matlab程序 49
習(xí)題4 51
第5章 擬牛頓法 53
5.1 擬牛頓法及其性質(zhì) 53
5.2 BFGS算法及其Matlab實(shí)現(xiàn) 56
5.3 DFP算法及其Matlab實(shí)現(xiàn) 60
5.4 Broyden族算法及其Matlab實(shí)現(xiàn) 62
5.5 擬牛頓法的收斂性 68
習(xí)題5 72
第6章 信賴域方法 74
6.1 信賴域方法的基本結(jié)構(gòu) 74
6.2 信賴域方法的收斂性 76
6.3 信賴域子問(wèn)題的求解 79
6.4 信賴域方法的Matlab程序 83
習(xí)題6 85
第7章 非線性最小二乘問(wèn)題 87
7.1 Gauss Newton法 87
7.2 Levenberg Marquardt方法 90
7.3 L-M算法的Matlab程序 96
習(xí)題7 98
第8章 最優(yōu)性條件 100
8.1 等式約束問(wèn)題的最優(yōu)性條件 100
8.2 不等式約束問(wèn)題的最優(yōu)性條件 102
8.3 一般約束問(wèn)題的最優(yōu)性條件 106
8.4 鞍點(diǎn)和對(duì)偶問(wèn)題 108
習(xí)題8 112
第9章 罰函數(shù)法 114
9.1 外罰函數(shù)法 114
9.2 內(nèi)點(diǎn)法 117
9.2.1 不等式約束問(wèn)題的內(nèi)點(diǎn)法 117
9.2.2 一般約束問(wèn)題的內(nèi)點(diǎn)法 120
9.3 乘子法 121
9.3.1 等式約束問(wèn)題的乘子法 121
9.3.2 一般約束問(wèn)題的乘子法 125
9.4 乘子法的Matlab實(shí)現(xiàn) 128
習(xí)題9 132
第10章 可行方向法 134
10.1 Zoutendijk可行方向法 134
10.1.1 線性約束下的可行方向法 134
10.1.2 非線性約束下的可行方向法 138
10.2 梯度投影法 143
10.2.1 梯度投影法的理論基礎(chǔ) 143
10.2.2 梯度投影法的計(jì)算步驟 146
10.3 簡(jiǎn)約梯度法 149
10.3.1 Wolfe簡(jiǎn)約梯度法 149
10.3.2 廣義簡(jiǎn)約梯度法 156
習(xí)題10 159
第11章 二次規(guī)劃 162
11.1 等式約束凸二次規(guī)劃的解法 162
11.1.1 零空間方法 162
11.1.2 拉格朗日方法及其Matla.b程序 163
11.2 一般凸二次規(guī)劃的有效集方法 166
11.2.1 有效集方法的理論推導(dǎo) 167
11.2.2 有效集方法的算法步驟 169
11.2.3 有效集方法的Matlab程序 173
習(xí)題11 178
第12章 序列二次規(guī)劃法 180
12.1 牛頓拉格朗日法 180
12.1.1 牛頓拉格朗日法的基本理論 180
12.1.2 牛頓拉格朗日法的Matlab程序 182
12.2 SQP方法的算法模型 185
12.2.1 基于拉格朗日函數(shù)Hesse矩陣的SQP方法 185
12.2.2 基于修正Hesse矩陣的SQP方法 192
12.3 SQP方法的相關(guān)問(wèn)題 195
12.3.1 二次規(guī)劃子問(wèn)題的Hesse矩陣 195
12.3.2 價(jià)值函數(shù)與搜索方向的下降性 196
12.4 SQP方法的Matlab程序 202
12.4.1 SQP子問(wèn)題的Matlab實(shí)現(xiàn) 202
12.4.2 SQP方法的Matlab實(shí)現(xiàn) 210
習(xí)題12 215
參考文獻(xiàn) 217
附錄 Matlab優(yōu)化工具箱簡(jiǎn)介 218
A.1 線性規(guī)劃 218
A.2 二次規(guī)劃 220
A.3 無(wú)約束非線性優(yōu)化 221
A.4 非線性最小二乘問(wèn)題 222
A.5 約束條件的非線性優(yōu)化命令 223
A.6 最小最大值的優(yōu)化問(wèn)題 225