摘要：年第一個(gè)產(chǎn)品與群雄逐鹿在發(fā)布了的產(chǎn)品，則標(biāo)志著虛擬化的成熟并逐漸開啟了異構(gòu)計(jì)算虛擬化的快速發(fā)展歷程。而其中的便是基于的分片虛擬化方案。圖形渲染虛擬化高性價(jià)比只此一款。各種新興行業(yè)也開始應(yīng)用虛擬化技術(shù)。

摘要： GPU深度好文系列，阿里云技術(shù)專家分享

第一章 GPU虛擬化發(fā)展史

GPU的虛擬化發(fā)展歷程事實(shí)上與公有云市場和云計(jì)算應(yīng)用場景的普及息息相關(guān)。如果在10年前談起云計(jì)算，大部分人的反應(yīng)是“不知所云“。但是隨著云計(jì)算場景的普及，概念的深入人心，慢慢地大家都對云計(jì)算有一個(gè)較清晰的概念和實(shí)例化的理解。自然，隨著應(yīng)用場景從單一依賴CPU的計(jì)算單元的應(yīng)用擴(kuò)展到多種體系架構(gòu)，異構(gòu)計(jì)算場景的應(yīng)用上來后，對GPU，F(xiàn)PGA，TPU等專業(yè)計(jì)算芯片也提出了虛擬化和上云的強(qiáng)烈要求。尤其是最近幾年機(jī)器學(xué)習(xí)、深度學(xué)習(xí)等領(lǐng)域的快速發(fā)展，催生了異構(gòu)計(jì)算場景搬遷上云的高潮。

那么這個(gè)異構(gòu)計(jì)算應(yīng)用場景的市場規(guī)模有多大呢？異構(gòu)計(jì)算作為機(jī)器學(xué)習(xí)人工智能的計(jì)算載體，先來看看人工智能前景如何？（引用出處：https://bg.qianzhan.com/repor...）

圖一：2015-2018年全球人工智能市場規(guī)模及預(yù)測（單位：億元，%）

圖二： 2014-2018年中國人工智能產(chǎn)業(yè)市場規(guī)模及增速（單位：億元，%）

所以我們不難理解，為什么各大云計(jì)算廠商無論大小，都會(huì)極力研發(fā)異構(gòu)計(jì)算產(chǎn)品，爭搶市場的主導(dǎo)地位。

由于GPU是異構(gòu)計(jì)算的主力軍，讓我們來回顧一下GPU虛擬化的發(fā)展歷史，并對各個(gè)GPU廠商做一個(gè)橫向比較，大家就不難看出來，哪些廠商處于領(lǐng)導(dǎo)地位，哪些是醬油黨 :)

2008年：序言

VMware的GPU全虛擬化VSGA技術(shù)是第一次對GPU共享虛擬化的嘗試，于2008年底在VMware商業(yè)化的Workstation 6.5和Fusion 2.0版本中首度問世，后續(xù)又在面向數(shù)據(jù)中心的產(chǎn)品vSphere中有集成。但這是一個(gè)VMware專有的閉源解決方案，在開源社區(qū)和VMware之外的產(chǎn)品中沒有見到大規(guī)模應(yīng)用，不是本篇關(guān)注的重點(diǎn)。

2012年：開始

隨著kernel VFIO模塊的引入和直通設(shè)備的慢慢普及，GPU的虛擬化之路得以開啟。而開始大規(guī)模運(yùn)用，則大體是伴隨著VFIO模塊的成功落地。事實(shí)上，在2012年左右，GPU直通技術(shù)一直是VFIO模塊的一個(gè)重要應(yīng)用場景。

2013年：第一個(gè)產(chǎn)品與群雄逐鹿

Nvidia 在2013 發(fā)布了GRID K1的產(chǎn)品，則標(biāo)志著GPU虛擬化的成熟并逐漸開啟了異構(gòu)計(jì)算虛擬化的快速發(fā)展歷程。

而事實(shí)上在2013同年，Intel OTC 針對HSW的GVT-d 和GVT-g的GPU虛擬化方案的也已經(jīng)開發(fā)了一年有余。當(dāng)初硬件基于SNB/HSW，而原型代碼是基于Xen Hypervisor。（題外話：回頭來看，會(huì)發(fā)現(xiàn)當(dāng)初如日中天的Xen，竟然在幾年后被后起之秀KVM逐漸取代。而當(dāng)今公有云市場已鮮有Xen的身影了，替Citrix心疼幾秒）。

Intel對GPU行業(yè)發(fā)展保持著敏銳的技術(shù)洞察力，早在2011年便已經(jīng)開始了GPU虛擬化的提案，然而由于沒有引起足夠的重視，直到三年后的2014年，才有基于GVT-g的XenClient產(chǎn)品問世。

同年： VFIO 模塊的社區(qū)維護(hù)者在KVM Forum上也正式發(fā)布了VGA的assignment。（詳見：https://www.linux-kvm.org/ima...）

同年初： AMD 也已經(jīng)開始基于SRIOV的GPU虛擬化方案（Tonga架構(gòu)），并開始研發(fā)SRIOV PF的GIM驅(qū)動(dòng)和vGPU調(diào)度系統(tǒng)。由此推測SRIOV的硬件實(shí)現(xiàn)應(yīng)該提前半年左右已經(jīng)完成。直到兩年后，AMD終于迎來了首款GPU SRIOV的產(chǎn)品：FirePro S7150 (2016年初發(fā)布)。

Nvidia作為GPU行業(yè)的龍頭老大，基本上在GPU虛擬化的研發(fā)和產(chǎn)品化是領(lǐng)先了各位對手1-2年以上。而作為競爭對手的AMD在之后奮起直追。而Intel 基本上在那個(gè)時(shí)期還屬于陪跑者。

2014年：vGPU 分片虛擬化誕生

一年后，也就是2014年，隨著一篇Usenix ATC的論文的發(fā)表：”A Full GPU Virtualization Solution with Mediated Pass-Through“ 默默無聞的GPU虛擬化的一個(gè)新技術(shù)正式進(jìn)入了大家的視眼：GPU分片虛擬化（中文暫且這么叫吧，因?yàn)閙ediated passh-through的叫法根本就不能讓人明白這個(gè)到底是什么）。

該論文由Intel OTC的兩位Principal Engineer發(fā)表，也代表了Intel在GPU虛擬化領(lǐng)域的技術(shù)積累（產(chǎn)品化一直不見起色，說起來都是淚）。

應(yīng)該說Nvidia作為行業(yè)龍頭對分片虛擬化在社區(qū)的推動(dòng)起到至關(guān)重要的角色，事實(shí)上VFIO的mdev框架是由Nvidia為了GRID vGPU 產(chǎn)品線而引入。mdev的概念由Nvidia率先提出的，并合并到了Linux 內(nèi)核4.10。人家玩閉源生態(tài)系統(tǒng)也開始擁抱開源。

而AMD 2014 則沒有消息，應(yīng)該是繼續(xù)研發(fā)全球首款基于SRIOV的GPU方案。

2015年：分化

Intel 與Citrix的合作，先后發(fā)布了基于GVT-d和分片虛擬化的GVT-g的XenClient 和 XenServer的產(chǎn)品。這些產(chǎn)品代表著當(dāng)時(shí)Xen社區(qū)GPU虛擬化業(yè)界的標(biāo)桿。為什么是Xen社區(qū)呢？ 因?yàn)镚VT-g當(dāng)時(shí)還沒有發(fā)布KVM 版本。

Intel 也開始在各大內(nèi)外會(huì)議推送GVT-g的技術(shù)，當(dāng)然是希望自己技術(shù)可以產(chǎn)品化并有一個(gè)好的市場前景。比如在當(dāng)年“英特爾開發(fā)者大會(huì)”（IDF）上率先發(fā)布了基于GVT-g的多媒體視頻處理云端方案。聽的人很多一百多號(hào)人，并且感興趣的也不少。作為一個(gè)利用免費(fèi)GPU來做音視頻處理，比多帶帶用E5 Server要?jiǎng)澦愕亩?。但是遺憾的是最終沒有任何產(chǎn)品落地。究其原因還是內(nèi)在Intel GPU的定位問題。后續(xù)會(huì)講到Intel GVT-g 方案的致命傷和痛點(diǎn)。

而AMD繼續(xù)研發(fā)全球首款SRIOV GPU。

當(dāng)其他人都在玩技術(shù)的時(shí)候，Nvidia已經(jīng)開始了產(chǎn)業(yè)布局。同年發(fā)布了AWS上和VMware合作的基于GRID的各種方案，比如非常炫酷的Game Streaming。

其實(shí)GRID 是大概念。代表了Nvidia的GPU虛擬化的一大摞產(chǎn)品。而其中的GRID vGPU便是基于mdev的分片虛擬化方案。

2016，2017年：回報(bào)

2016年AMD帶來了全球首款GPU的SRIOV顯卡FirePro S7150x2。而這款針對圖形渲染應(yīng)用的產(chǎn)品也成為了之后各大公有云廠商的必推業(yè)務(wù)。圖形渲染虛擬化高性價(jià)比只此一款。

Intel繼續(xù)在各大論壇極力宣傳Intel GVT-g技術(shù)。并在技術(shù)上第一次領(lǐng)先行業(yè)龍頭Nvidia率先實(shí)現(xiàn)了vGPU的熱遷移技術(shù)，可以說Intel OTC的虛擬化部門在自己力所能及的情況下把GVT-g做到了極致，然而在產(chǎn)品化的道路上卻越走越艱難。

Nvidia此時(shí)憑借著AI的風(fēng)口一路狂奔，日益完善GRID技術(shù)和分片虛擬化，把對手遠(yuǎn)遠(yuǎn)的拋在了后面。此時(shí)Nvidia也開始在開源社區(qū)拋頭露面。并在2016年的KVM Forum的第二天，Nvidia架構(gòu)師Neo隆重介紹了GRID vGPU技術(shù)。而恰巧本人作為GVT-g技術(shù)的代表在同一會(huì)場做GPU Live Migration的主題介紹。

大家感受一下當(dāng)時(shí)的場景：GRID vGPU聽眾與GVT-g的聽眾對比：

不得不說，早年Intel作為核顯GPU的代表與Nvidia作為獨(dú)立顯卡的代表在GPU研發(fā)上有深度合作。而隨后與AMD的合作開發(fā)CPU+GPU的芯片。以及最近的Intel與AMD合作對抗Nvidia在GPU領(lǐng)域的擠壓。

以上三位既是對手又是朋友。

2018年：新領(lǐng)域

Nvidia繼續(xù)保持著行業(yè)第一的身份把持了絕大部分市場份額。誰讓人家有遠(yuǎn)見早早布局早早收割。

AMD 也有后續(xù)產(chǎn)品的發(fā)布。比如針對老對手Nvidia的對標(biāo)Deep Learning的MI25的發(fā)布等。

隨著GPU虛擬化應(yīng)用的普及，GPU虛擬化的應(yīng)用場景不再限于云計(jì)算市場。各種新興行業(yè)也開始應(yīng)用GPU虛擬化技術(shù)。最直接的便是車載娛樂系統(tǒng)，簡稱IVI（In-vehicle Information system ）。于是三位老朋友又是老對手，都開始在IVI和自動(dòng)駕駛領(lǐng)域開始競爭。而這也為Intel GVT-g的技術(shù)落地帶來了轉(zhuǎn)機(jī)。于是Intel率先發(fā)布了基于物聯(lián)網(wǎng)的虛擬化方案（ACRN），并夾帶著GVT-g的分片虛擬化技術(shù)浩浩蕩蕩地再次出發(fā)。

原文鏈接

閱讀更多干貨好文，請關(guān)注掃描以下二維碼：