異構(gòu)計(jì)算技術(shù)與DTK異構(gòu)開發(fā)套件

費(fèi)林分類法：SISD SIMD MISD MIMD

指令流I和數(shù)據(jù)流D

MIMD不同存儲(chǔ)結(jié)構(gòu)：

• UMA均勻存儲(chǔ)訪問模型
• NUMA非均勻存儲(chǔ)訪問模型
• Cluster集群

現(xiàn)在以Cluster為主

DTK異構(gòu)開發(fā)套件

生態(tài)結(jié)構(gòu)

異構(gòu)并行編程模型是什么

HIP（Heterogeneous-Compute Interface for Portability）

HIP是由AMD開發(fā)的一種編程模型，旨在提供跨AMD和NVIDIA GPU的可移植性。它允許開發(fā)者編寫基于CUDA風(fēng)格的代碼，同時(shí)能夠在不同廠商的GPU上運(yùn)行。

• 特點(diǎn)：
  • 類似CUDA的語(yǔ)法和編程風(fēng)格，使得從CUDA到HIP的遷移相對(duì)容易。
  • 支持AMD和NVIDIA的GPU，提供代碼的跨平臺(tái)可移植性。
  • 提供高效的性能和低開銷的API。

OpenCL（Open Computing Language）

OpenCL是由Khronos Group制定的一個(gè)開放標(biāo)準(zhǔn)，用于異構(gòu)計(jì)算平臺(tái)上的并行編程。它支持多種類型的計(jì)算設(shè)備，包括CPU、GPU、DSP等。

• 特點(diǎn)：
  • 平臺(tái)無關(guān)性，支持多種硬件廠商和設(shè)備類型。
  • 基于C語(yǔ)言的編程模型，提供底層控制和優(yōu)化能力。
  • 支持任務(wù)并行和數(shù)據(jù)并行模型。
  • 適用于廣泛的應(yīng)用領(lǐng)域，包括圖像處理、機(jī)器學(xué)習(xí)和科學(xué)計(jì)算等。

OpenMP（Open Multi-Processing）

OpenMP是用于多平臺(tái)共享內(nèi)存并行編程的API，主要針對(duì)多核CPU系統(tǒng)。通過使用編譯指令、庫(kù)例程和環(huán)境變量，OpenMP允許程序員在現(xiàn)有的C、C++和Fortran代碼中添加并行化支持。

• 特點(diǎn)：
  • 使用簡(jiǎn)單，易于在現(xiàn)有代碼中添加并行化支持。
  • 提供線程級(jí)并行控制，適合共享內(nèi)存多處理器系統(tǒng)。
  • 支持循環(huán)并行化、任務(wù)并行和數(shù)據(jù)并行。
  • 主要用于多核CPU環(huán)境，但也可以在一些GPU環(huán)境中使用。

OpenACC（Open Accelerators）

OpenACC是為異構(gòu)計(jì)算設(shè)計(jì)的一種并行編程標(biāo)準(zhǔn)，旨在簡(jiǎn)化在CPU和GPU等加速器上開發(fā)并行程序的過程。通過添加編譯指令，開發(fā)者可以快速將現(xiàn)有代碼并行化。

• 特點(diǎn)：
  • 易于使用，允許逐步并行化現(xiàn)有代碼。
  • 支持不同類型的加速器，包括GPU和其他專用硬件。
  • 提供高級(jí)抽象，減少手工優(yōu)化和設(shè)備特定代碼的需求。
  • 適用于科學(xué)計(jì)算、高性能計(jì)算等領(lǐng)域。

數(shù)學(xué)庫(kù)

CUDA風(fēng)格和HIP風(fēng)格是什么

CUDA（Compute Unified Device Architecture）

CUDA是由NVIDIA開發(fā)的一種并行計(jì)算平臺(tái)和編程模型，允許開發(fā)者利用NVIDIA GPU進(jìn)行通用計(jì)算。CUDA提供了C/C++擴(kuò)展，開發(fā)者可以編寫在GPU上執(zhí)行的內(nèi)核函數(shù)（kernel）。

• 特點(diǎn)：
  • 內(nèi)核函數(shù)：使用 __global__ 修飾符定義的函數(shù)可以在GPU上執(zhí)行。
  • 線程和塊：通過指定線程數(shù)和塊數(shù)來管理并行執(zhí)行，通常使用 <<<grid, block>>> 語(yǔ)法。
  • 內(nèi)存管理：需要顯式管理主機(jī)（CPU）和設(shè)備（GPU）之間的內(nèi)存?zhèn)鬏敗?/li>
  • 庫(kù)支持：豐富的庫(kù)和工具鏈，例如cuBLAS、cuFFT等。
  • 專有性：專為NVIDIA GPU設(shè)計(jì)，不適用于其他GPU廠商。

HIP（Heterogeneous-Compute Interface for Portability）

HIP是由AMD開發(fā)的一種編程模型，旨在提供與CUDA兼容的代碼，使得代碼能夠在AMD和NVIDIA的GPU上運(yùn)行。HIP主要是為了解決跨平臺(tái)的可移植性問題。

• 特點(diǎn)：
  • 兼容性：HIP的語(yǔ)法和風(fēng)格與CUDA非常相似，允許從CUDA代碼到HIP代碼的輕松遷移。
  • 內(nèi)核函數(shù)：使用 __global__ 修飾符定義的函數(shù)可以在GPU上執(zhí)行，與CUDA相同。
  • 線程和塊：同樣使用 <<<grid, block>>> 語(yǔ)法來指定線程數(shù)和塊數(shù)。
  • 內(nèi)存管理：與CUDA類似，需要管理主機(jī)和設(shè)備之間的內(nèi)存?zhèn)鬏敗?/li>
  • 可移植性：支持在AMD和NVIDIA的GPU上運(yùn)行，提供跨平臺(tái)的代碼復(fù)用。
  • 工具支持：提供hipify工具，可以自動(dòng)將CUDA代碼轉(zhuǎn)換為HIP代碼。