深度學(xué)習(xí)的歷史并不算長,卻呈現(xiàn)出了清晰的代際變遷。

在深度學(xué)習(xí)框架出現(xiàn)前,開發(fā)者需要進(jìn)行很多繁重的工作,包括算法、算力和數(shù)據(jù),基本處于石器時(shí)代的階段;

深度學(xué)習(xí)框架在2012年萌芽后,陸續(xù)出現(xiàn)了 Caffe、Chainer 、Theano等框架,深度學(xué)習(xí)開始進(jìn)入到青銅時(shí)代;

谷歌、百度、Facebook等互聯(lián)網(wǎng)巨頭進(jìn)場后,憑借強(qiáng)大的應(yīng)用場景和底層能力,深度學(xué)習(xí)正式邁入了鐵器時(shí)代。

之后深度學(xué)習(xí)框架越來越多,訓(xùn)練能力和可用性也越來越強(qiáng),特別是TensorFlow、PyTorch、飛槳幾乎占據(jù)深度學(xué)習(xí)框架95%以上市場份額的局面下,業(yè)界陸續(xù)出現(xiàn)了這樣一種聲音:人工智能何時(shí)進(jìn)入大規(guī)模產(chǎn)業(yè)化應(yīng)用的工業(yè)大生產(chǎn)時(shí)代?

日前結(jié)束的Wave Summit 2021深度學(xué)習(xí)開發(fā)者峰會(huì)上,持續(xù)進(jìn)化的飛槳已經(jīng)給出了確切的答案。

01 逼近產(chǎn)業(yè)爆發(fā)的臨界點(diǎn)

百度的AI布局始于2010年,但2016年是個(gè)特殊的時(shí)間節(jié)點(diǎn),這一年百度正式開源了自家的深度學(xué)習(xí)框架飛槳,不僅填補(bǔ)了國內(nèi)深度學(xué)習(xí)框架的市場空白,也為中國開源力量的崛起埋下了伏筆。

有別于一些學(xué)術(shù)性質(zhì)的開源框架,飛槳身上有著典型的產(chǎn)業(yè)標(biāo)簽,為了讓深度學(xué)習(xí)從一門技術(shù)走進(jìn)千行萬業(yè)的產(chǎn)業(yè)世界,飛槳的每一次進(jìn)化都在嘗試降低深度學(xué)習(xí)的開發(fā)門檻,讓技術(shù)可以順暢的轉(zhuǎn)化為社會(huì)生產(chǎn)力。而每年兩次的Wave Summit深度學(xué)習(xí)開發(fā)者峰會(huì),可以說是洞察飛槳產(chǎn)業(yè)化進(jìn)程的風(fēng)向標(biāo)。

2019年冬天,飛槳一口氣帶來了21項(xiàng)全新發(fā)布和重要升級,其中端到端開發(fā)套件成為開發(fā)者們討論的核心焦點(diǎn)。涵蓋語義理解、目標(biāo)檢測、圖像分割和點(diǎn)擊率預(yù)估的四大端到端開發(fā)套件,旨在通過模塊化的設(shè)計(jì)和端到端的體驗(yàn),滿足企業(yè)低成本開發(fā)和快速集成需求,進(jìn)一步推動(dòng)深度學(xué)習(xí)的產(chǎn)業(yè)落地。

2021年的Wave Summit 深度學(xué)習(xí)開發(fā)者峰會(huì)期間,飛槳在穩(wěn)定性、兼容性和成熟度的基礎(chǔ)上,再次為產(chǎn)業(yè)智能化開足馬力,不斷逼近AI在產(chǎn)業(yè)深處爆發(fā)的臨界點(diǎn):

全新發(fā)布飛槳開源框架V2．1,對自動(dòng)混合精度、動(dòng)態(tài)圖、高層API等進(jìn)行了優(yōu)化和增強(qiáng)。尤其是自定義算子功能的全面升級,進(jìn)一步降低了開發(fā)者自定義算子的學(xué)習(xí)與開發(fā)成本,并大幅提升了開發(fā)的靈活性;

分布式訓(xùn)練方面,發(fā)布大規(guī)模圖檢索引擎,支持萬億邊的圖存儲(chǔ)和檢索,大規(guī)模圖模型訓(xùn)練架構(gòu)支持網(wǎng)易云音樂等企業(yè)大規(guī)模應(yīng)用落地。

模型套件方面,文心ERNIE全新開源發(fā)布 4大預(yù)訓(xùn)練模型,知識(shí)與深度學(xué)習(xí)相結(jié)合實(shí)現(xiàn)知識(shí)增強(qiáng)的語義理解,不僅僅能理解語言,還可以理解圖像,實(shí)現(xiàn)統(tǒng)一的跨模態(tài)語義理解。

部署方面,飛槳提供全面的推理部署工具鏈,重磅發(fā)布推理部署導(dǎo)航圖,其中已驗(yàn)證300多條部署通路,助力開發(fā)者打通AI應(yīng)用的“最后一公里”。

飛槳企業(yè)版在EasyDL、BML“兩翼”升級的同時(shí),還開放了飛槳企業(yè)版的“核”——PaddleFlow,以云原生、高性能、輕量易用的特色,專為AI平臺(tái)開發(fā)者提供核心能力并賦能更多細(xì)分場景和深度定制的AI平臺(tái)。

飛槳的進(jìn)化歷程無疑印證了百度CTO王海峰對于人工智能技術(shù)和產(chǎn)業(yè)發(fā)展的思考:一是融合創(chuàng)新,多技術(shù)融合創(chuàng)新、深度學(xué)習(xí)平臺(tái)與芯片軟硬一體優(yōu)化、人工智能技術(shù)與應(yīng)用場景融合創(chuàng)新發(fā)展的趨勢愈加明顯;二是降低門檻,隨著人工智能技術(shù)在各行業(yè)的滲透,面向不同應(yīng)用場景,高效滿足不同的開發(fā)者需求,持續(xù)降低門檻非常關(guān)鍵。

門檻的大幅降低,加快了人工智能應(yīng)用的多樣化和規(guī)�；�,也加快了產(chǎn)業(yè)智能化進(jìn)程。

02 抹平算法和算力的鴻溝

對于深度學(xué)習(xí)框架的價(jià)值,百度CTO王海峰曾經(jīng)有過一個(gè)恰當(dāng)?shù)谋扔?“深度學(xué)習(xí)框架起到承上啟下的作用,下接芯片和大型計(jì)算機(jī)系統(tǒng),上承各種業(yè)務(wù)模型與行業(yè)應(yīng)用,是智能時(shí)代的操作系統(tǒng)”。

單單只有開源深度學(xué)習(xí)框架的進(jìn)化,恐怕還不足以將百萬計(jì)的開發(fā)者們“擺渡”到工業(yè)大生產(chǎn)的彼岸。畢竟人工智能的三要素包括算法、算力和數(shù)據(jù),僅僅是跨越算法和算力之間的鴻溝,就足以將不少開發(fā)者拒之門外。

目前英偉達(dá)主導(dǎo)的GPU在神經(jīng)網(wǎng)絡(luò)訓(xùn)練中有著舉足輕重的地位,可英偉達(dá)等硬件廠商并沒有能力對所有的框架進(jìn)行適配,只能選擇TensorFlow、PyTorch和飛槳三個(gè)最成熟的框架進(jìn)行優(yōu)化。

結(jié)果就是,倘若深度學(xué)習(xí)框架不對芯片進(jìn)行適配優(yōu)化,再好的芯片也只是一堆廢鐵;假如芯片和深度學(xué)習(xí)框架間的橋梁不打通,“智能時(shí)代操作系統(tǒng)”的實(shí)用價(jià)值無疑要大打折扣。

飛槳給出的答案是主動(dòng)擔(dān)當(dāng)起打造硬件生態(tài)的重任。

根據(jù)百度集團(tuán)副總裁吳甜在Wave Summit 2021上披露的數(shù)據(jù),飛槳已經(jīng)和22家硬件廠商合作,完成和正在適配的芯片或IP達(dá)到31款,名單包括百度昆侖、英特爾、英偉達(dá)、華為、曙光、瑞芯微、安霸等等。

目前飛槳在硬件生態(tài)方面已經(jīng)處于業(yè)界領(lǐng)先地位,不僅涵蓋了從訓(xùn)練到部署、從通用型計(jì)算硬件到專用的AI加速硬件、從服務(wù)端到移動(dòng)端的硬件適配和優(yōu)化,還和一些企業(yè)達(dá)成了深度合作。比如飛槳通過和英特爾OneAPI的合作,為開發(fā)者提供了跨平臺(tái)集成的開發(fā)路徑;通過集成TensorRT的加速能力,協(xié)助英偉達(dá)在GPU領(lǐng)域?qū)崿F(xiàn)了高效推理。

值得一提的是,身為深度學(xué)習(xí)國產(chǎn)之光的飛槳,和飛騰、海光、鯤鵬等國內(nèi)芯片廠商進(jìn)行了深入合作,僅在海光DCU上適配的模型就已經(jīng)超過50個(gè),中國自主可控的“操作系統(tǒng)+芯片”生態(tài)已逐步成型。

其實(shí)個(gè)中原因并不難理解,人工智能的大規(guī)模落地已經(jīng)步入快車道,而飛槳恰恰是各行各業(yè)走向智能化的重要驅(qū)動(dòng)力。

躬身構(gòu)建軟硬件生態(tài),抹平算法和算力之間的鴻溝,進(jìn)一步打破深度學(xué)習(xí)的應(yīng)用壁壘,既是百度作為人工智能頭雁的應(yīng)有之義,也是飛槳重塑生產(chǎn)力與生產(chǎn)關(guān)系的初心。