英偉達(dá)這么紅：說(shuō)說(shuō)GPU計(jì)算背后的故事
對(duì)于人工智能使用程序的興奮情緒，讓已經(jīng)24歲的英偉達(dá)成為科技界最熱門的企業(yè)之一，股價(jià)直線飆升，過(guò)去兩年內(nèi)漲幅超過(guò)七倍，達(dá)到1000億美元，最近一個(gè)季度的收入暴增了56%。 勢(shì)如破竹的背后，你或許會(huì)好奇，曾經(jīng)一個(gè)只是負(fù)責(zé)在屏幕上繪制圖像的“圖形處理單元”，如今為何能夠肩負(fù)起搞定復(fù)雜計(jì)算問(wèn)題的重任？GPU全面崛起，英偉達(dá)的答案很明確，一個(gè)有“強(qiáng)迫癥”的老板和十多年前的一次關(guān)鍵押注。 皮衣霸道總裁的“強(qiáng)迫癥” 這家強(qiáng)勢(shì)增長(zhǎng)的公司背后的掌舵者是創(chuàng)始人兼CEO黃仁勛（Jen-Hsun Huang）。他擁有敏銳的戰(zhàn)略直覺(jué)，個(gè)性出了名的嚴(yán)苛，常常穿深色的衣服，因此有人拿他來(lái)跟蘋果已故CEO史蒂夫?喬布斯（Steve Jobs）比較。(跟喬布斯一樣，黃仁勛也提出給公司打造富有吸引力的新總部大樓。該公司不久之后便將進(jìn)駐新總部)
英偉達(dá)創(chuàng)始人兼CEO 黃仁勛
黃仁勛今年已經(jīng)54歲，總是一身全黑，還經(jīng)常披件皮外套，在辦公室里走路風(fēng)風(fēng)火火，員工一般很難跟上他的步伐。他出生在臺(tái)灣，從小和家人一起生活在美國(guó)。青少年時(shí)期他特別喜歡打乒乓球，后來(lái)還成了當(dāng)?shù)芈劽捻敿饪旃デ騿T。Paddle Palace乒乓球公司的CEO也說(shuō)，“他行動(dòng)敏捷，打球流暢且有力量，要不是從商了，本來(lái)或許可以成為全國(guó)頂尖的乒乓球運(yùn)動(dòng)員?！? 從斯坦福畢業(yè)后，第二年他就開(kāi)始學(xué)習(xí)電子工程專業(yè)知識(shí)，與前Sun Microsystems工程師Chris Malachowsky和Curtis Priem共同創(chuàng)建了顯卡制造公司英偉達(dá)。不久，英偉達(dá)快速在市場(chǎng)上辟出了一席之地。經(jīng)過(guò)與47家顯卡生產(chǎn)商的激烈爭(zhēng)奪后于1999年上市，而其他公司要不就是被收購(gòu)了，要不就是倒閉了，只留下AMD還在和英偉達(dá)兩強(qiáng)相爭(zhēng)。 為了存活下來(lái)，黃仁勛告誡員工必須保持專注。他總是說(shuō)如果不努力，公司可能一個(gè)月內(nèi)就會(huì)破產(chǎn)，這讓每個(gè)員工都感受到了壓迫和緊張感。 黃仁勛的競(jìng)爭(zhēng)“強(qiáng)迫癥”還反映在他總是向員工宣告好消息上。1997年的一次全體大會(huì)上，他向全體員工宣告英偉達(dá)銀行留存資金100萬(wàn)美元左右。同時(shí)，公司已經(jīng)將芯片RIVA 128投入量產(chǎn)。這種消息總是搞得員工的心情十分忐忑。接著他從自己口袋里拿出一張紙，向大家解釋這是STB系統(tǒng)下的3000萬(wàn)美元顯卡訂單。那是英偉達(dá)第一次接到這么大筆單子，也標(biāo)志著英偉達(dá)顯卡芯片已經(jīng)成功打開(kāi)了HP和DELL這類計(jì)算機(jī)制造商的市場(chǎng)，當(dāng)時(shí)公司上下一片歡呼。 1998年，英偉達(dá)首次補(bǔ)上了季度利潤(rùn)不夠，當(dāng)時(shí)黃仁勛還在辦公室給70個(gè)員工每人都發(fā)了一張1美元鈔票慶祝。 黃仁勛的“強(qiáng)迫癥”還是非常有效的。上市前后，英偉達(dá)經(jīng)過(guò)了多次“瀕死”體驗(yàn)。每次將芯片發(fā)給計(jì)算機(jī)制造商，員工總是面臨不立即行動(dòng)會(huì)死人的截止期限。有時(shí)在臺(tái)灣生產(chǎn)的芯片被檢測(cè)出來(lái)有問(wèn)題，寧愿損失一大筆錢也要所有回收殘次品。 黃仁勛的危機(jī)管理能力為他贏得了員工的敬重。1998年，英特爾推出了一款與英偉達(dá)競(jìng)爭(zhēng)的顯卡，黃仁勛組織了一系列全體會(huì)議，指示員工寫出能提升玩游戲時(shí)的顯卡性能的軟件。后來(lái)還是保住了競(jìng)爭(zhēng)優(yōu)勢(shì)。英特爾制造的威脅在英偉達(dá)看來(lái)其實(shí)從未實(shí)現(xiàn)。 同年，Silicon Graphics起訴英偉達(dá)專利侵權(quán)。黃仁勛再次快速掌控了有利局勢(shì)，兩家公司最終同意授權(quán)對(duì)方專利。SGI后來(lái)還讓英偉達(dá)成為了自家計(jì)算機(jī)系統(tǒng)顯卡芯片的優(yōu)先選擇。黃仁勛的努力也幫助英偉達(dá)在首輪融資中吸引了眾多潛在投資者。 黃仁勛已經(jīng)證明了他的“能屈能伸”。公司創(chuàng)建以來(lái)的24年時(shí)間里，英偉達(dá)數(shù)次面臨生存困境，包括新芯片出問(wèn)題，和競(jìng)爭(zhēng)對(duì)手打官司等，黃仁勛都帶領(lǐng)員工渡過(guò)了危機(jī)。在施工中的英偉達(dá)圣克拉拉新總部
多年來(lái)，為了讓英偉達(dá)拓展新的市場(chǎng)領(lǐng)域，黃仁勛一直都會(huì)事先做好風(fēng)險(xiǎn)預(yù)估工作。就在10多年前，他下了一次關(guān)鍵性的賭注：押注一系列的改動(dòng)和軟件開(kāi)發(fā)，來(lái)使得GPU能夠處理在電腦屏幕上繪畫以外的、更為復(fù)雜的任務(wù)。 然而，“此舉給公司帶來(lái)了極大的成本壓力?！秉S仁勛說(shuō)。他估計(jì)，該名為CUDA（統(tǒng)一計(jì)算設(shè)備架構(gòu)）的項(xiàng)目每年需要花費(fèi)5億美元，而當(dāng)時(shí)公司的總營(yíng)收規(guī)模在30億美元左右。自從CUDA推出以來(lái)，英偉達(dá)所有的支出都圍繞著將GPU轉(zhuǎn)化為更為通用計(jì)算工具，總額接近100億美元。 實(shí)習(xí)生項(xiàng)目“CUDA”拯救GPU帝國(guó) 如此執(zhí)拗的霸道總裁真懷疑他是“處女座”。不過(guò)，CUDA取得今天所有成績(jī)，除了黃仁勛的堅(jiān)持，還有一個(gè)人功不可沒(méi)，他就是伊恩?布克（Ian Buck），現(xiàn)任英偉達(dá) GPU 計(jì)算軟件總經(jīng)理。Ian Buck于2004年加盟英偉達(dá)并創(chuàng)造了CUDA
Ian Buck對(duì)于GPU計(jì)算的研究最早起始于2000年。當(dāng)時(shí)，Buck及其在斯坦福大學(xué)的一個(gè)小團(tuán)隊(duì)敏銳觀察到了圖形處理器在性能方面的優(yōu)勢(shì)和發(fā)展趨勢(shì)。他表示，將GPU用于通用計(jì)算的想法是從GPU支持可編程開(kāi)始的。 在最初幾年，他們遇到了非常大的困難。盡管初步試驗(yàn)可以證實(shí)GPU用于通用計(jì)算的巨大潛力，推廣這個(gè)想法卻十分不易。 終于在2003年，由Ian Buck領(lǐng)導(dǎo)的研究團(tuán)隊(duì)發(fā)布了Brook，這是第一個(gè)廣泛采用的運(yùn)用數(shù)據(jù)并行架構(gòu)擴(kuò)展C的編程模型。同時(shí)，Brook也是 GPU 通用計(jì)算方面先驅(qū)項(xiàng)目。英偉達(dá) GPU 計(jì)算軟件總經(jīng)理 Ian Buck（最右）
2004年，斯坦福大學(xué)博士生Ian Buck進(jìn)入英偉達(dá)實(shí)習(xí)，開(kāi)始集合相關(guān)的硬件和軟件工程師創(chuàng)造GPGPU模型，這是CUDA研究的開(kāi)端。當(dāng)時(shí)，Buck曾參與一項(xiàng)涉及簡(jiǎn)化利用GPU的眾多計(jì)算引擎過(guò)程的編程挑戰(zhàn)賽。 不久后，英偉達(dá)便對(duì)它的芯片作出改動(dòng)，開(kāi)發(fā)出軟件輔助工具，其中包括支持標(biāo)準(zhǔn)的編程語(yǔ)言，而非用于向圖形芯片發(fā)出指令的神秘工具。在Ian Buck率領(lǐng)下，于2006年正式推出――CUDA，這是全球首款GPU上的通用計(jì)算搞定方案。 CUDA是由英偉達(dá)開(kāi)發(fā)的用于圖形處理單元（GPU）上的通用計(jì)算的并行計(jì)算平臺(tái)和編程模型。利用CUDA，開(kāi)發(fā)人員可以通過(guò)利用GPU的功能大大加快計(jì)算使用。事實(shí)上，在英偉達(dá)內(nèi)部，CUDA是作為所有GPU系列的通用平臺(tái)。英偉達(dá)Tesla P100的性能表現(xiàn)
在GPU加速的使用程序中，工作負(fù)載的順序部分在處理器上運(yùn)行，針對(duì)單線程性能進(jìn)行了優(yōu)化，而使用程序的計(jì)算密集型部分則并行運(yùn)行在數(shù)千個(gè)GPU內(nèi)核上。運(yùn)用CUDA時(shí)，開(kāi)發(fā)人員運(yùn)用C，C ++，F(xiàn)ortran，Python和MATLAB等流行語(yǔ)言進(jìn)行程序規(guī)劃，并以幾個(gè)基本關(guān)鍵字的形式通過(guò)擴(kuò)展表達(dá)并行性。CUDA工具包包括GPU加速庫(kù)，編譯器，開(kāi)發(fā)工具和CUDA運(yùn)行時(shí)。 CUDA的核心規(guī)劃理念就是計(jì)算機(jī)中的線程。與傳統(tǒng)處理器中的4、8和16個(gè)線程不一樣，GPU中的線程可以多達(dá)幾萬(wàn)個(gè)。 Buck表示，看起來(lái)這些線程的管理是一件十分復(fù)雜的事情。但實(shí)際上，編程人員主要的困難在于如何發(fā)揮這些線程的優(yōu)勢(shì)，而不是管理這些線程。早期，CUDA的性能主要依賴編程人員人工發(fā)現(xiàn)代碼中可并行計(jì)算的部分。 現(xiàn)在，隨著CUDA庫(kù)的發(fā)展，這方面的工作開(kāi)始越來(lái)越自動(dòng)化。CUDA團(tuán)隊(duì)已經(jīng)開(kāi)發(fā)了很多石油、天然氣和國(guó)防等相關(guān)產(chǎn)業(yè)所運(yùn)用的科學(xué)計(jì)算方面的庫(kù)。最終，2012年發(fā)布的Titan超級(jí)計(jì)算機(jī)運(yùn)用了18688個(gè)英偉達(dá)Tesla K20 GPU作為協(xié)處理器，標(biāo)志著GPGPU在高性能計(jì)算方面的成功推廣和使用。從2011年開(kāi)始，Top 500的超級(jí)計(jì)算機(jī)中至少有50臺(tái)會(huì)運(yùn)用GPU進(jìn)行加速。而這些機(jī)器基本上也都出現(xiàn)在Green 500（全球節(jié)能超級(jí)計(jì)算機(jī)榜單）的列表中。英偉達(dá)AI“殺傷性武器” CUDA平臺(tái)瓜熟蒂落 CUDA開(kāi)始受到越來(lái)越多的關(guān)心，CUDA的使用也“百花齊放”。但Buck表示，其中最讓其影響深刻的就是，乳腺癌檢測(cè)和診斷的系統(tǒng)。與傳統(tǒng)方式相比，采用支持CUDA編程的Tesla GPU后，醫(yī)生能夠更早、更精確地發(fā)現(xiàn)乳腺癌。而美國(guó)國(guó)家癌癥研究所數(shù)據(jù)顯示，基于CUDA的系統(tǒng)在運(yùn)行蛋白質(zhì)配體運(yùn)算（用于研究治療癌癥和老年癡呆癥的新藥）時(shí)只需要原來(lái)1/12的時(shí)間。英偉達(dá)的新圖形芯片Volta，據(jù)估計(jì)開(kāi)發(fā)成本高達(dá)30億美元
Buck還介紹說(shuō)，他之前和來(lái)自很多工業(yè)界的人士交流發(fā)現(xiàn)，他們寧愿犧牲性能，也不愿接受一門新的語(yǔ)言。為了能夠給相關(guān)編程人員提供很好的入門體驗(yàn)，從而便于CUDA的推廣，CUDA采用了已經(jīng)流行的C語(yǔ)言作為基礎(chǔ)。 這樣，編程人員就不需要去學(xué)習(xí)特定的顯示芯片的指令或是特殊的結(jié)構(gòu)，即可編寫GPU上運(yùn)行的程序，這毫無(wú)疑問(wèn)促進(jìn)了CUDA在程序員之間的流行。英偉達(dá)加州圣克拉拉園區(qū)里的演示室
此外，英偉達(dá)當(dāng)年做出的一個(gè)決定也極為關(guān)鍵?，F(xiàn)在已是負(fù)責(zé)針對(duì) GPU 計(jì)算的所有工程、第三方支持以及開(kāi)發(fā)者營(yíng)銷活動(dòng)的 lan Buck 回憶說(shuō)，英偉達(dá)讓自家消費(fèi)級(jí)GPU和高端產(chǎn)品都支持CUDA。這就意味著只要研究人員、學(xué)生有筆記本電腦或者臺(tái)式電腦，就能在學(xué)校實(shí)驗(yàn)室和宿舍里開(kāi)發(fā)軟件。 英偉達(dá)還說(shuō)服了許多大學(xué)開(kāi)設(shè)課程，教學(xué)生用他們公司的最新編程技術(shù)。程序員們慢慢把GPU使用于氣候建模、勘探石油和天然氣等很多領(lǐng)域。 Buck表示，CUDA在超級(jí)計(jì)算領(lǐng)域的成功使用也迎來(lái)了很好的運(yùn)用反饋?，F(xiàn)在，Buck在英偉達(dá)的團(tuán)隊(duì)就根據(jù)用戶反饋開(kāi)始探索GPU內(nèi)存的管理方式。CUDA6就推出了一個(gè)新的軟件內(nèi)存管理特點(diǎn)，支持?jǐn)?shù)據(jù)在處理器內(nèi)存和GPU內(nèi)存之間的自動(dòng)轉(zhuǎn)移。計(jì)劃于2016年面世的英偉達(dá) Pascal GPU 架構(gòu)則將配備 NVLink，使 GPU 和 處理器 之間的數(shù)據(jù)傳輸速度較現(xiàn)有的 PCI-Express 標(biāo)準(zhǔn)加快5至12倍。 此外，為了進(jìn)一步減少編程工作，Cray、PGI以及英偉達(dá)等領(lǐng)先的HPC供應(yīng)商在2011年推出了OpenACC編程標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)定義了一組標(biāo)準(zhǔn)化的、高層次的代碼注釋，使C/C++和Fortran編程人員可以利用GPU加速代碼運(yùn)行。英偉達(dá)在2015年7月更是發(fā)布了全新OpenACC免費(fèi)工具套件，讓相關(guān)研究人員能夠更多的關(guān)心科學(xué)本身。Buck也一再?gòu)?qiáng)調(diào)，OpenACC的初衷就是讓用戶“首先是個(gè)科學(xué)家，然后才是一個(gè)程序員”。 英偉達(dá)花了好幾年才讓CUDA牽住了客戶，不過(guò)CUDA也幫英偉達(dá)在高性能運(yùn)算市場(chǎng)索回了相應(yīng)的回報(bào)。2012年，CUDA和GPU與深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)結(jié)合在一起，震驚了學(xué)術(shù)界。 當(dāng)時(shí)，加拿大多倫多大學(xué)的Geoffrey Hinton帶著兩個(gè)學(xué)生，用GPU訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)拿下了ImageNet圖像識(shí)別大賽的冠軍。 Buck表示，在此之前，要通過(guò)程序員制定的規(guī)則訓(xùn)練系統(tǒng)在數(shù)百萬(wàn)圖像中識(shí)別出一張面孔，需要耗費(fèi)整整一個(gè)學(xué)期，而通過(guò)GPU，研究人員在短短幾周、幾天甚至幾個(gè)小時(shí)之內(nèi)就能完成訓(xùn)練過(guò)程。GTC CHINA 2017現(xiàn)場(chǎng)
這一幕，在不久前的GTC CHINA 2017大會(huì)上，黃仁勛便用 TensorRT （一款適用于CUDA GPU的優(yōu)化神經(jīng)網(wǎng)絡(luò)編譯器 ）進(jìn)行了演示，搭配 Tesla V100 GPU 加速器的 TensorRT 每秒能夠識(shí)別多達(dá) 5700 張圖片，而如今所用的 處理器 則每秒僅能識(shí)別 140 張圖片。 企業(yè)數(shù)據(jù)中心是黃仁勛慧眼預(yù)見(jiàn)到的另一CUDA使用領(lǐng)域。 現(xiàn)在，Tesla V100 AI 平臺(tái)現(xiàn)在已經(jīng)被諸多包括BAT、華為、浪潮、聯(lián)想在內(nèi)的中國(guó)領(lǐng)軍IT企業(yè)采用，用以升級(jí)自身數(shù)據(jù)中心與云服務(wù)基礎(chǔ)設(shè)施。 不過(guò)，黃仁勛下的賭注也不是次次都能獲得回報(bào)。Tegra芯片本來(lái)是為智能手機(jī)和平板電腦研究，但在這兩個(gè)市場(chǎng)并未奏效，后來(lái)只能轉(zhuǎn)移戰(zhàn)略目標(biāo)。 現(xiàn)在，這位霸道總裁又將目光轉(zhuǎn)向了汽車制造行業(yè)。該文章被收錄于：
編程器 ? https://www.chinafix.com/zt/1877-1.html
評(píng)論 (0)