本書圍繞面向深度神經(jīng)網(wǎng)絡(luò)的增廣二階優(yōu)化器展開研究，在二階優(yōu)化器的基礎(chǔ)上，通過(guò)結(jié)合三次正則項(xiàng)，構(gòu)建能利用高階梯度信息的損失函數(shù)；為了避免計(jì)算完整的海森矩陣和進(jìn)一步加速迭代收斂過(guò)程，提出了各類矩陣更新和動(dòng)量加速規(guī)則，從而得到性能更優(yōu)的增廣二階優(yōu)化器。同時(shí)，面向有能耗約束和嵌入式硬件設(shè)備實(shí)施的深度估計(jì)應(yīng)用，本書分別提出了投影增廣二階優(yōu)化器和近端增廣二階優(yōu)化器。