直通!一場地底的奇幻冒險正在展開。跟隨我的步伐,我們將穿過黑暗的隧道,探索那些被遺忘的秘密。直通!這不僅是一次旅程,更是一次心靈的啟程,讓我們共同揭開這個世界的紗幕,找尋那份失落的寶藏。
CPU和GPU都是基於芯片的微處理器,但兩者的設計目標和架構存在顯著差異。簡而言之:


GPU技術的背景與特點
過去,我們習慣將CPU視為計算機的大腦,認為應用程序的運算速度取決於CPU。然而,在AI、大數據分析、高性能計算等場景中,GPU的算力表現更為重要。這主要源自於CPU和GPU之間的運算架構差異。
CPU和GPU都是基於芯片的微處理器,但兩者的設計目標和架構存在顯著差異。簡而言之:
- CPU單核心運算能力強,內核數量少(從幾個到幾十個不等),適合高效執行串行任務。
- GPU則包含大量核心(數千個),每個核心性能雖較弱,但其並行處理多個任務的能力極高,在特定應用中能提供極為高效的算力。
正因為此,GPU在許多需要強大並行計算能力的應用場景中發揮着重要作用。例如,在企業的產品開發、設計和生產過程中常涉及實時渲染、3D建模、工程模擬、視頻處理等任務,這些任務極度依賴GPU的圖像處理能力。以往,這些任務通常在配備GPU的PC工作站上完成,但這種分散式且難以管理的PC工作站資源利用率往往不高。
GPU在服務器虛擬化環境下的應用
在服務器虛擬化(或超融合)環境中使用GPU,主要有兩種模式:GPU直通和vGPU。為了應對GPU直通帶來的限制,vGPU技術應運而生,它將GPU卡上的資源進行切分,允許一個GPU資源在多台虛擬機之間分配。vGPU技術相對GPU直通技術更加複雜,因為
Time-Sliced與MIG技術
所有支持vGPU技術的GPU卡都能支持Time-sliced的切分方式。MIG模式將物理GPU劃分為多個分區(vGPU),每個vGPU都是一個獨立的實例,能夠獨佔訪問實例的引擎。在多個vGPU上運行的進程能夠並行運行。MIG是基於NVIDIA Ampere GPU架構引入的,只有Ampere架構的GPU型號才能使用MIG方式。MIG可將GPU劃分為多達七個實例,每個實例都完全獨立,擁有獨享的高帶寬顯存、緩存和計算核心。在GPU切分之後,還需要對顯存進行切分,因為GPU無法直接訪問計算機內存,只能直接訪問顯存。顯存切分需要遵循以下幾個特點:


延伸閲讀…
GPU市場的稀缺與挑戰
隨著加密貨幣、人工智能等產業的快速發展,以及GPU芯片產能的不足,加上美國對中國實施的GPU禁運等一系列事件的影響,GPU卡在市場上供不應求,價格昂貴且供貨週期不穩定。在此背景下,企業在選擇GPU卡的同時,也需要考慮如何高效利用GPU資源。通常,將GPU資源虛擬化可以有效提高資源利用率,而大多數企業已習慣將業務部署在虛擬機上,因此GPU與虛擬機的結合是自然而然的選擇。
GPU在服務器虛擬化環境下的應用
在服務器虛擬化(或超融合)環境中使用GPU,主要有兩種模式:GPU直通和vGPU。為了應對GPU直通帶來的限制,vGPU技術應運而生,它將GPU卡上的資源進行切分,允許一個GPU資源在多台虛擬機之間分配。vGPU技術相對GPU直通技術更加複雜,因為
Time-Sliced與MIG技術
所有支持vGPU技術的GPU卡都能支持Time-sliced的切分方式。MIG模式將物理GPU劃分為多個分區(vGPU),每個vGPU都是一個獨立的實例,能夠獨佔訪問實例的引擎。在多個vGPU上運行的進程能夠並行運行。MIG是基於NVIDIA Ampere GPU架構引入的,只有Ampere架構的GPU型號才能使用MIG方式。MIG可將GPU劃分為多達七個實例,每個實例都完全獨立,擁有獨享的高帶寬顯存、緩存和計算核心。在GPU切分之後,還需要對顯存進行切分,因為GPU無法直接訪問計算機內存,只能直接訪問顯存。顯存切分需要遵循以下幾個特點:
延伸閲讀…
關於常見顯卡對切分方式的支持情況,請見文末附錄。NVIDIA為其顯卡提供了多種切分方案,這些方案能夠適應不同用户的工作負載類型。因此,NVIDIA將其顯卡分為4個vGPU系列:
vGPU系列 | 適用於 | 特點 |
---|---|---|
MIG | Ampere架構GPU | 最多可切分為7個獨立的vGPU實例 |
GRID | Turing架構GPU | 適用於虛擬桌面基礎設施(VDI)和應用程序虛擬化 |
NVvPS | Pascal、Maxwell架構GPU | 較早期的vGPU解決方案 |
NVvMI | Kepler架構GPU | 早期的vGPU解決方案,不支持MIG |
選擇合適的切分方案需要考慮工作負