一股清流，從通用出發(fā)去做專(zhuān)用芯片

目前主導(dǎo)推動(dòng)推理芯片市場(chǎng)的以互聯(lián)網(wǎng)公司居多，除了領(lǐng)頭的谷歌，還有Facebook、亞馬遜等，不可忽視的還有以硬件結(jié)構(gòu)創(chuàng)新為出發(fā)點(diǎn)、骨骼清奇的寒武紀(jì)和尋求新增長(zhǎng)力的英偉達(dá)。

不過(guò)，其中Facebook最有意思。

從他們?cè)诠�共�?chǎng)合的表態(tài)來(lái)看，和谷歌、亞馬遜所處之境一樣，面對(duì)不可控的成本上漲，F(xiàn)acebook不是不著急。但不同于其他四家的芯片設(shè)計(jì)方向，即依據(jù)應(yīng)用需求調(diào)試算法，隨后依次開(kāi)發(fā)設(shè)計(jì)硬件，F(xiàn)acebook選擇耐著性子去做一款通用的深度學(xué)習(xí)專(zhuān)用芯片。按照Facebook的意思，雖然是深度學(xué)習(xí)專(zhuān)用芯片，但是也不可順著應(yīng)用需求過(guò)于專(zhuān)一，因此它的做法也是非常獨(dú)特。

圖 ｜ Facebook Glow平臺(tái)

這始于Facebook早早為自己搭建好的一款名為Facebook Glow的深度學(xué)習(xí)通用處理器。提到這款平臺(tái)，F(xiàn)acebook稱(chēng)其可用于處理云端的各種深度學(xué)習(xí)加速，但又不同于TensorFlow等開(kāi)源工具，它不是針對(duì)用戶(hù)設(shè)計(jì)的。

Taylor解釋說(shuō)：“推理加速器的市場(chǎng)必將表現(xiàn)為硬件碎片化，但我們的Glow主要是幫助深度學(xué)習(xí)專(zhuān)家設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)而不是讓大家用它來(lái)開(kāi)發(fā)算法，以調(diào)試到去適應(yīng)各類(lèi)硬件推理加速器。我們知道碎片化時(shí)代正在到來(lái)，因?yàn)闆](méi)人知道怎樣把硬件資源組合起來(lái)最優(yōu)，所以我們會(huì)讓開(kāi)發(fā)者專(zhuān)注在上層的網(wǎng)絡(luò)圖上而不是讓他們?yōu)椤�硬件’敲代碼�！�

在軟件加速器上樹(shù)立好絕對(duì)的標(biāo)準(zhǔn)，而后基于此來(lái)設(shè)計(jì)芯片，F(xiàn)acebook的造芯計(jì)劃可謂宏圖。

其實(shí)對(duì)于Facebook研發(fā)芯片這件事，業(yè)內(nèi)人多用“奇葩”來(lái)形容。依據(jù)精準(zhǔn)的上層架構(gòu)來(lái)反向“強(qiáng)行”設(shè)計(jì)出底層具有通用性的AI芯片，很難評(píng)價(jià)其做法是否過(guò)于執(zhí)拗和宏大，只能暗嘆它的不走尋常路，因此對(duì)于CES2019上Intel宣布的這款與Facebook聯(lián)手的芯片，還是值得期待一下。

終端市場(chǎng)緣何如此重要？

不難發(fā)現(xiàn)，上文提到的在推理芯片市場(chǎng)引起軒然大波的芯片產(chǎn)品都可歸為一類(lèi)：服務(wù)器芯片，即終端市場(chǎng)。

從技術(shù)角度來(lái)看，其實(shí)不僅僅是終端市場(chǎng)對(duì)推理芯片有著強(qiáng)需求，隨著智能應(yīng)用需求的深入，手機(jī)等移動(dòng)端亦有此需求，如華為麒麟平臺(tái)中用到的NPU芯片正是一款專(zhuān)用于解決神經(jīng)網(wǎng)絡(luò)推理計(jì)算的芯片。

但是不同于端側(cè)市場(chǎng)的現(xiàn)有產(chǎn)品飽和與增長(zhǎng)力不足，因云計(jì)算快速的深入，服務(wù)器的計(jì)算任務(wù)需求呈爆發(fā)式增長(zhǎng)，因而對(duì)硬件架構(gòu)提升的需求格外迫切。

圖 ｜ 數(shù)據(jù)中心

亞馬遜James Hamilton曾結(jié)合亞馬遜所遇到的問(wèn)題給出這樣的分析：一直以來(lái)，雖然專(zhuān)用芯片可以成十倍改善延遲、降低成本和功耗，但是通用芯片的地位卻是不可撼動(dòng)的，這里面有其原因。以傳統(tǒng)服務(wù)來(lái)說(shuō)，一般情況下每個(gè)用戶(hù)只會(huì)用到幾個(gè)固定的服務(wù)器，即我們的服務(wù)器是按照用戶(hù)分配的，這樣的情況下專(zhuān)用芯片通常是沒(méi)什么用的。但是云改變了一切，在一個(gè)完備的云系統(tǒng)中，比較“罕見(jiàn)”的工作負(fù)載甚至需要連接進(jìn)入數(shù)千甚至數(shù)萬(wàn)個(gè)服務(wù)器里，同時(shí)運(yùn)行以完成任務(wù)。這在過(guò)去是完全不可能實(shí)現(xiàn)的，因?yàn)橐郧凹幢隳軌蚝芎玫姆峙淙蝿?wù)給專(zhuān)用硬件，也不能節(jié)約成本，尤其是當(dāng)一些緊急狀況出現(xiàn)時(shí)。

云的出現(xiàn)打通了硬件之間的“壁壘”，也極大程度的發(fā)揮了深度學(xué)習(xí)算法的威力，但它同時(shí)很快耗盡了眾多公司現(xiàn)有服務(wù)器芯片的計(jì)算能力。

IDC曾做過(guò)數(shù)據(jù)統(tǒng)計(jì)，2018年第二季度全球服務(wù)器市場(chǎng)的廠商收入同比增長(zhǎng)43．7％達(dá)到225億美元，該季度全球服務(wù)器出貨量同比增長(zhǎng)20．5％達(dá)到290萬(wàn)臺(tái)。而其中最大的增長(zhǎng)力就表現(xiàn)在云計(jì)算服務(wù)器上。

深度學(xué)習(xí)、推理芯片與產(chǎn)業(yè)變遷

回到推理芯片，即處理邏輯運(yùn)算的芯片。其實(shí)它并不是什么新產(chǎn)物，這里不得不提英特爾的x86架構(gòu)。

所謂x86架構(gòu)，通俗來(lái)講就是一種通用的“CPU＋Linux”操作系統(tǒng)的架構(gòu)，它伴隨著1978年英特爾推出的8086處理器出現(xiàn)，具體指的是英特爾開(kāi)發(fā)的一套通用的計(jì)算機(jī)指令集合。目前市面上所有主流的服務(wù)器都是基于Intel x86架構(gòu)的CPU公版二次開(kāi)發(fā)而來(lái)。

采用Intel的x86架構(gòu)來(lái)處理服務(wù)器大量的計(jì)算任務(wù)，有人說(shuō)是考慮CPU通過(guò)馮諾依曼架構(gòu)可以為數(shù)百萬(wàn)的不同應(yīng)用加載任何軟件的靈活性?xún)?yōu)勢(shì)，有人認(rèn)為英特爾x86架構(gòu)的向后兼容性讓用戶(hù)只要換個(gè)CPU就能獲得性能提升的優(yōu)勢(shì)主導(dǎo)使然。總而言之，不同于訓(xùn)練模式的單一，深度學(xué)習(xí)推理任務(wù)的復(fù)雜讓產(chǎn)業(yè)界綜合考慮成本、技術(shù)成熟度等因素而最終選擇了CPU芯片＋x86指令集的系統(tǒng)架構(gòu)。

圖 ｜ Intel x86

但眾所周知的是，古老的x86架構(gòu)雖經(jīng)過(guò)了幾十年的技術(shù)迭代，受系統(tǒng)架構(gòu)本身的訪問(wèn)限制（又稱(chēng)馮諾依曼瓶頸），其總體的吞吐量和能耗都限制了它在大量計(jì)算任務(wù)上的表現(xiàn)能力，尤其是當(dāng)深度學(xué)習(xí)算法出現(xiàn)后，這一弊端愈加被凸顯。

深度學(xué)習(xí)算法之所以如此重要，主要原因在于它剛剛誕生不久就能夠迅速適應(yīng)幾乎所有的應(yīng)用需求，歷史上很少有一項(xiàng)技術(shù)有如此的影響力，因此其特殊屬性催生了對(duì)大量數(shù)據(jù)進(jìn)行處理和分析的需求。對(duì)于這一算法帶來(lái)的影響，黃仁勛一句話點(diǎn)出其中奧妙：深度學(xué)習(xí)是一種新的計(jì)算方法，所以整個(gè)產(chǎn)業(yè)需要發(fā)展出一種新的計(jì)算體系結(jié)構(gòu)。

因而在深度學(xué)習(xí)的兩大功能——訓(xùn)練和推理的模式推動(dòng)下，Caffe、Tensorflow等軟件架構(gòu)工具迅速發(fā)展，芯片巨頭也爭(zhēng)相以此為起點(diǎn)開(kāi)發(fā)新的芯片。英偉達(dá)借助GPU與訓(xùn)練功能的天生匹配登上了市場(chǎng)龍頭的寶座，但他們發(fā)現(xiàn)要實(shí)現(xiàn)訓(xùn)練之后的推理功能，即對(duì)圖像的識(shí)別、語(yǔ)義的關(guān)聯(lián)處理等，GPU卻是不適合的。

沒(méi)有合適“人選”，推理市場(chǎng)因此空出霸主之位。退而求其次，CPU＋GPU發(fā)展成了服務(wù)器市場(chǎng)中主流的架構(gòu)解決方案，但終究不是長(zhǎng)久之計(jì)。對(duì)此，大家心知肚明。

最后

在這一波巨頭帶動(dòng)的小高潮背后，無(wú)疑預(yù)示著產(chǎn)業(yè)發(fā)展中推理任務(wù)處理需求積聚到了一個(gè)新的高點(diǎn)。

箭在弦上，不得不發(fā)。但最終誰(shuí)將勝出，還只能靜候各廠家接下來(lái)的芯片產(chǎn)品。

正如Patterson與Hennessy在《計(jì)算機(jī)體系結(jié)構(gòu)的新黃金時(shí)代》里所言，“在摩爾定律走向終點(diǎn)的同時(shí)，體系結(jié)構(gòu)正在閃耀新的活力——以TPU為代表的領(lǐng)域特定架構(gòu) （Domain Specific Architectures， DSA） 興起，但CPU、GPU、FPGA仍然有用武之地，最終，市場(chǎng)會(huì)選出勝者�！�