前　　言
本書主要是為需要強大計算能力的人編寫的，包括那些需要這種能力對數(shù)據(jù)進行獲取、處理、分析或建模的科研人員。對于需要處理更大數(shù)據(jù)集與更復雜圖像數(shù)據(jù)的醫(yī)療數(shù)據(jù)人員，他們也會發(fā)現(xiàn)本書對其很有幫助。
在我的整個研究生涯中，我一直在面對復雜而苛刻的計算，首先是在高能物理學實驗中，最近是在醫(yī)學成像的各種應用中。GPU計算的出現(xiàn)是我所見過的最激動人心的發(fā)展之一，撰寫本書的一個原因就是要與讀者分享這種興奮。
這似乎是摩爾定律的必然結(jié)果——對計算能力的需求增長總是超過當前可用的水平。自20世紀80年代初期PC時代開啟以來，供應商一直在提供附加卡以提高渲染顯示的速度。這些卡現(xiàn)在被稱為圖形處理單元（Graphic Processing Unit, GPU），在PC游戲行業(yè)需求的推動下，它們已經(jīng)成為非常強大的計算引擎。2007年，NVIDIA推出的CUDA工具包徹底改變了游戲規(guī)則，該工具包可以用來編寫出利用GPU強大性能的科學應用軟件。我們的計算能力突然提高了100倍，不再遵循過去每18個月翻一倍的規(guī)律。從那時起，GPU性能也隨著時間的推移繼續(xù)呈指數(shù)級增長，超越了摩爾定律。因此，現(xiàn)在開始了解如何在GPU上進行編程，與在2007年一樣有用。事實上，你現(xiàn)在想在世界級超級計算機上進行高性能計算（HPC），就必須了解如何使用GPU。
大約在2002年之前，PC計算能力的指數(shù)級增長主要依賴于時鐘速度的提高。然而從那時候起，時鐘速度穩(wěn)定在3.5 GHz左右，但CPU芯片中的核心數(shù)量在穩(wěn)步增加。因此，并行編程（使用同時運行的多個協(xié)作核心來分擔單個任務的計算負載）對于從現(xiàn)代硬件中獲益至關重要。GPU將并行編程提升到一個新的水平，允許數(shù)千甚至數(shù)百萬個并行線程在計算中進行協(xié)作。
科學研究難度大并且競爭激烈，可用的計算能力往往是一個限制因素。將一個重要的計算加快200倍可能會改變游戲規(guī)則，將原本需要一周的運行時間縮短到1 h以內(nèi)，那么一天之內(nèi)就可以進行結(jié)果分析。將需要1 h的運行時間縮短到18 s，這樣就可以探索復雜模型的參數(shù)空間。將幾s的運行時間縮短到幾ms，就可以對計算機模型進行交互式研究。本書對個人研究者和小團隊應該特別有用，他們可以為自己的內(nèi)部PC配備GPU，并獲得這些性能上的好處。即使是可以輕松訪問大型HPC設施的團隊，也可以從在他們自己的臺式機上使用非�？焖俚墓ぞ邅硖剿髌浣Y(jié)果而受益。
當然，本書也適合任何有興趣深入了解GPU和并行編程的讀者。即使你已經(jīng)對該主題有所了解，我們相信你也可以從研究我們的編碼風格與選擇的示例中受益。
具體而言，本書主要介紹使用C++對NVIDIA GPU進行編程。自2007年以來，NVIDIA已成為HPC領域的主導力量，最近還成為AI領域的主導力量，這不僅由于GPU的成本效益，還由于CUDA語言使用類似于C++的優(yōu)雅特效。我知道一些科學編程仍然使用Fortran的各種版本（包括Fortran IV，這是我在20世紀80年代初期非常喜歡的一種語言）， 但在我看來，C++更具表現(xiàn)力。Fortran的粉絲可能會指出使用指針優(yōu)化C++代碼存在技術問題，但這些問題隨著在C11中引入restrict關鍵字，已在C++11中得到解決�，F(xiàn)代C++編譯器也支持這個關鍵字，并且在我們的許多示例中都使用它。
示例是本書區(qū)別于當前其他關于CUDA書籍的一個特點，我們的示例是從有趣的現(xiàn)實世界應用中精心制作的，包括物理和醫(yī)學成像，而不是在其他地方找到的相當基礎的常見問題。本書區(qū)別于其他書籍的另一個特點是，我們在編寫代碼的外觀方面是非常用心的，在適當?shù)牡胤绞褂矛F(xiàn)代的C++來減少冗余并保持簡潔，我認為這真的很重要。根據(jù)我的經(jīng)驗，許多人會通過修改其他人的代碼來學習計算機編程，盡管目前流通的大部分CUDA示例代碼都有效，但談不上優(yōu)雅。這可能是因為在2007年推出CUDA時，是作為C的擴展而不是C++，最初的SDK示例大多以冗長的C風格編寫。不幸的是，許多在線的CUDA教程和書籍中仍然是這種風格。事實上，CUDA一直支持一些C++，現(xiàn)在CUDA完全支持C++17（盡管有一些限制）。2019年11月，（NVIDIA C Programmers Guide）被更名為（NVIDIA C++ Programmers Guide），盡管指南的內(nèi)容沒有發(fā)生重大變化，但它標志著NVIDIA對代碼的態(tài)度改變了，自2020年以來，一些更高級的C++用法開始出現(xiàn)在SDK示例中。
本書的目標不是從零開始教授C++，我們假設你具有一些C++的基本知識。然而附錄I會討論我們示例中使用的一些C++特性�，F(xiàn)代C++實際上有點龐大，具有許多支持面向?qū)ο蠛推渌�高級編程風格的新特性。在本書中不使用這些特性，因為我們認為它們不適合實現(xiàn)在GPU上運行的算法代碼，我們還是更喜歡模板函數(shù)而不是虛擬函數(shù)。
要充分利用本書，你需要使用配備支持CUDA的NVIDIA GPU的PC（許多PC都支持）。這些示例是在配備4核Intel CPU和NVIDIA RTX 2070 GPU（2019年價格為480英鎊）的Windows 10 PC上開發(fā)的。Linux系統(tǒng)也可以，我們所有的示例都可以在不需要修改的情況下運行。無論你使用什么系統(tǒng)，都需要一個當前版本的（免費）NVIDIA CUDA Toolkit。在Windows上，你還需要Visual Studio C++（免費的社區(qū)版也可以）。在Linux上，gcc或g++都可以。
不幸的是，我們