百度“飛槳”是怎么成為世界第三的?
導(dǎo)語:由于百度發(fā)展的局限性,使得飛槳在海外的應(yīng)用受限。未來如何將飛槳推到國際市場,講好AI的故事,恐怕是百度要在2022年認(rèn)真考慮的問題。
出品丨數(shù)科社 作者丨檸溪
國內(nèi)人工智能產(chǎn)業(yè)市場在2021年開始迎來了大爆發(fā)。
無論是蘿卜快跑的自動駕駛出租車,還是智能識圖、語音識別與輸入、影音剪輯等方面,層出不窮的人工智能技術(shù)極大的提升了人們生活的便利性和科技感。
龐大的市場需求也助力了很多沖擊資本市場的大型科技企業(yè)。AI四小龍里商湯上市和剩余幾家紛紛沖擊IPO就是一個重要的佐證。
2021年人工智能領(lǐng)域的算法分析師、程序員、工程師,已經(jīng)成為最新互聯(lián)網(wǎng)就業(yè)市場上搶手的香餑餑。尤其是人工智能規(guī)劃和算法的精通者,在其中占有更大的優(yōu)勢。
更有意思的是,曾幾何時幾乎全部做人工智能開發(fā)的程序員、工程師和算法分析師,用的深度學(xué)習(xí)框架都來自美國。TensorFlow、PyTorch雖然是開源項目,但都在美國公司掌控之下,不確定性如影隨形
迫切需要替代品的背景下,已經(jīng)歷經(jīng)6年開發(fā)并逐漸成熟的百度飛槳,成為越來越多中國人工智能開發(fā)工程師和算法分析師的優(yōu)選。
百度也借此舉辦了多期人工智能規(guī)劃師的培訓(xùn),試圖利用自己的經(jīng)驗為中國人工智能領(lǐng)域提供高水平的人才儲備。
伴隨著應(yīng)用飛槳項目和產(chǎn)業(yè)端結(jié)合的越來越頻繁緊密,截至目前,飛槳所擁有的工業(yè)產(chǎn)業(yè)模型超過300個,已逐漸成為一個非常易于開發(fā)的通用性人工智能深度學(xué)習(xí)平臺。
最新信息,在2021年年底,飛槳已經(jīng)超越其他競爭對手,穩(wěn)居兩個老牌深度學(xué)習(xí)框架之后,成為全球第三大深度學(xué)習(xí)框架平臺。
在核心軟件開發(fā)領(lǐng)域,這可以說是首個成為主流應(yīng)用開發(fā)工具的中國的平臺。很多關(guān)心人工智能行業(yè)的人不禁要問:他們是怎么做到的?
01丨深度學(xué)習(xí)平臺的能力
很久以前,在人工智能領(lǐng)域剛剛開始的時候,所有的項目都是從零起步。比如,人們要想做出一個圖形處理的項目,就必須從攝像頭調(diào)取,而這樣的動作,得寫相應(yīng)的支持程序。
因此2015年之前,世界人工智能領(lǐng)域的項目進(jìn)度比較慢。畢竟熟練的工程師和程序員就這些,后續(xù)的人員,想進(jìn)入這個領(lǐng)域還需要進(jìn)行長時間的學(xué)習(xí)。
這為深度學(xué)習(xí)框架的出現(xiàn)提供了強大的需求和促動力。
當(dāng)時,美國谷歌公司和另一個從谷歌出來的資深程序員,提出了兩個深度學(xué)習(xí)的開發(fā)平臺與框架。這就是當(dāng)前使用人數(shù)最多的ensorFlow和PyTorch。
人工智能最早的應(yīng)用其實是在數(shù)據(jù)標(biāo)注,也就是窮舉的方式列舉所有遇到問題時機器應(yīng)該產(chǎn)生的反應(yīng),但這并不是真正的人工智能或者說應(yīng)該算偽人工智能。從谷歌2016年推出超級人工智能阿爾法狗之后,深度學(xué)習(xí)成為很多人工智能公司追求的系統(tǒng)技術(shù)基礎(chǔ)。而阿爾法狗的底層框架,正是建立在TensorFlow的平臺之上。
很快,TensorFlow、PyTorch這兩個新生的深度學(xué)習(xí)開發(fā)平臺框架迅速在業(yè)內(nèi)走紅,成為后續(xù)各個創(chuàng)業(yè)項目技術(shù)積累的基礎(chǔ)。
所謂深度學(xué)習(xí)框架,其實就是首先提供一個深度學(xué)習(xí)的內(nèi)部系統(tǒng),可以符合多種行業(yè)的應(yīng)用能通過各種不同的接口調(diào)取這種學(xué)習(xí)能力,從而讓新開發(fā)的項目迅速通過數(shù)據(jù)的積累訓(xùn)練系統(tǒng),學(xué)會如何人工思考和應(yīng)對。這樣的好處就是整個項目不用再對深度學(xué)習(xí)進(jìn)行算法和布局,更不用從理論基礎(chǔ)去做相應(yīng)的研發(fā),可以大大降低人工智能項目研發(fā)的難度。
其次,這些深度學(xué)習(xí)框架還提供了調(diào)取相應(yīng)深度學(xué)習(xí)結(jié)果和培訓(xùn)系統(tǒng)能力的程序語言,并封裝了很多常用的模塊,后續(xù)開發(fā)者只需調(diào)用這些模塊就可以實現(xiàn)一些系統(tǒng)常用的功能,比如說對于圖片和音頻的識別等。
此外,這些深度學(xué)習(xí)框架還提供額外的擴(kuò)展與延伸,可以跟其他的一些系統(tǒng)相銜接,把人工智能的相應(yīng)能力接觸到更大的系統(tǒng)中去。
從2017年之后,國內(nèi)大大小小的人工智能應(yīng)用,絕大多數(shù)都是基于這兩個框架平臺所提供的各種服務(wù)和封裝模塊進(jìn)行,雖然大大降低了開發(fā)人員的難度,但很大程度上也將技術(shù)核心的支持能力拱手相讓。
正是看到這一點,2016年百度提出來中國人自己的深度學(xué)習(xí)框架PaddlePaddle。但說實話彼時百度的這一框架并沒有顯露出太多技術(shù)優(yōu)勢,在國內(nèi)被使用的頻次也不算太高。
即便如此,對于百度一把手李彥宏而言,AI是百度未來發(fā)展的突破口,所以深度學(xué)習(xí)框架這塊也必須得到百度整個技術(shù)部門的大力扶持。
2018 年 7 月,李彥宏在百度 AI 開發(fā)者大會上喊出了要讓“Everyone Can AI”的口號,其實這句口號后面還要加上一個限定——“通過百度的 AI 平臺”。PaddlePaddle 就是這一口號付諸實踐的突破點之一。
2019 年 4 月,時任百度高級副總裁(現(xiàn)百度 CTO)王海峰在 Wave Summit 深度學(xué)習(xí)開發(fā)者峰會上,為深度學(xué)習(xí)框架 PaddlePaddle 在百度內(nèi)部的戰(zhàn)略地位進(jìn)行了定調(diào)。PaddlePaddle 發(fā)布中文名“飛槳”,開始強調(diào)自己更懂中國開發(fā)者,以及更加專注于深度學(xué)習(xí)模型的工業(yè)生產(chǎn)和部署。
02丨飛槳的特色
實際上,飛槳以百度多年的深度學(xué)習(xí)技術(shù)研究和業(yè)務(wù)應(yīng)用為基礎(chǔ),集深度學(xué)習(xí)核心訓(xùn)練和推理框架、基礎(chǔ)模型庫、端到端開發(fā)套件、豐富的工具組件于一體,是中國首個自主研發(fā)、功能完備、開源開放的產(chǎn)業(yè)級深度學(xué)習(xí)平臺。
關(guān)鍵從2015年之后,百度將自己業(yè)務(wù)突破的能力定立到了人工智能上,而幾乎百度現(xiàn)在所有的人工智能項目全都是基于飛槳的整個體系研發(fā),并最終投入使用和做后期維護(hù)的。
某種意義上正是基于百度本身體量的大范圍應(yīng)用,才迅速縮短了飛槳的成熟時間。
作為我國首個開源開放、功能完備的產(chǎn)業(yè)級深度學(xué)習(xí)平臺,飛槳想要保持自己的地位,也必須要有自己獨特的優(yōu)勢。
第一,便捷的開發(fā)框架。飛槳同時支持動態(tài)圖和靜態(tài)圖的編程,能夠兼顧易用性和效率。在整個開發(fā)過程當(dāng)中,算法工程師既需要方便的接口,同時也需要高效的底層平臺的支持。飛槳平臺結(jié)合了動態(tài)圖的易用性和靜態(tài)圖的高性能,使開發(fā)者可以兼顧兩者的優(yōu)勢。對開發(fā)者來說,這是大大降低了寫程序的成本和復(fù)雜度。
第二,超大規(guī)模深度學(xué)習(xí)模型訓(xùn)練技術(shù)。針對大規(guī)模的工業(yè)化場景,飛槳提供大規(guī)模分布式訓(xùn)練能力,在真正的工業(yè)場景應(yīng)對自如。飛槳平臺推出了支持萬億規(guī)模參數(shù)模型的實時更新能力和訓(xùn)練能力。面對大型分類任務(wù)時可以進(jìn)行模型并行訓(xùn)練,在訓(xùn)練層面也可以支持?jǐn)?shù)據(jù)并行訓(xùn)練。
第三,多端多平臺部署的高性能推理引擎。端到端的部署是應(yīng)用深度學(xué)習(xí)的一個非常關(guān)鍵的環(huán)節(jié),飛槳提供非常完備的支持各種硬件的端到端的部署能力,能夠使得開發(fā)者推理、預(yù)測的過程足夠順暢。在移動端部署的模型體積上,飛槳可以縮減到非常小,眾多開發(fā)者可以更好地把模型用在相應(yīng)場景的終端設(shè)備上。
第四,產(chǎn)業(yè)級開源模型庫。飛槳有大量在產(chǎn)業(yè)實踐當(dāng)中沉淀出來的模型,并提供官方的支持,能夠保證開發(fā)者的應(yīng)用效果是最佳的、真正可靠的。據(jù)悉,飛槳平臺上目前開源了140+的模型,而且還有工業(yè)級的預(yù)訓(xùn)練模型。在預(yù)訓(xùn)練模型基礎(chǔ)上,開發(fā)者在使用時只要針對自己的場景進(jìn)行小數(shù)據(jù)量的遷移學(xué)習(xí)就可以使用。
而且飛槳已可適配 22 種芯片型號,覆蓋英特爾、英偉達(dá)、瑞芯微、寒武紀(jì)等15家硬件廠商,且對國產(chǎn)硬件的支持力度業(yè)界第一。
03丨需求決定一切
以上這些特性,實際上只是跟海外的開源平臺打成個平手。真正能讓飛槳成為殺手級人工智能深度學(xué)習(xí)拓展平臺的原因,是其跟中國市場的深度捆綁。
由于百度所有的技術(shù)扎根于中國市場本土需求,相應(yīng)的算法標(biāo)準(zhǔn),基礎(chǔ)能力、深度學(xué)習(xí)的習(xí)慣等等,都跟中國市場和相應(yīng)數(shù)據(jù)采集的情況相吻合。
如果采用國際上知名的其他開源平臺來研發(fā)項目,在最終項目調(diào)整的過程中,還要付出很大的精力,要將很多不符合國內(nèi)環(huán)境的算法和思路進(jìn)行調(diào)整,這對于人工智能的策劃師和算法分析師來說都是一個重大的挑戰(zhàn)。
但使用飛槳就不用做這些事,可以省很大的工作量。
從2019年開始,百度AI的能力逐漸下沉,開始跟產(chǎn)業(yè)經(jīng)濟(jì)和生產(chǎn)一線相結(jié)合,在飛槳上也越來越多有類似的人工智能項目運行,比如智能質(zhì)檢,比如對于農(nóng)產(chǎn)品的智能分揀等等。
這些與產(chǎn)業(yè)相結(jié)合的人工智能應(yīng)用模型,飛槳已經(jīng)積累了超過1000個。由于這些模型最終都成功運營,所以類似需求的開發(fā)者只要將這些模型針對自己的一些特征進(jìn)行修改調(diào)試,就可以在短時間內(nèi)拿出一個成型的人工智能解決方案和項目實施計劃。
再加上百度本身所推出的人工智能應(yīng)用,就已經(jīng)覆蓋了中國互聯(lián)網(wǎng)的大多數(shù)使用空間。豐富的人工智能基礎(chǔ)模塊,可以讓程序員和工程師快速部署形成自己的人工智能軟件應(yīng)用。
這大大方便了人工智能項目在中國產(chǎn)業(yè)端的拓展,也成為飛槳迅速在中國人工智能研發(fā)領(lǐng)域成為主流平臺的重要原因。
截止目前在飛槳平臺上,經(jīng)常使用相應(yīng)模塊進(jìn)行人工智能開發(fā)的程序員和工程師超過400萬。
這已經(jīng)創(chuàng)造了中國開源軟件開發(fā)框架或平臺的記錄。
04丨擺在前面的挑戰(zhàn)
當(dāng)然,飛槳并不是不是一個完美的框架和平臺。知乎上在飛槳專區(qū)有很多程序員吐槽,大多是有關(guān)應(yīng)用端以開發(fā)的過程中,調(diào)取模塊遇到的各種bug問題。
而由于整套系統(tǒng)的邏輯都是百度自己建立的,并沒有前面的經(jīng)驗可以遵循,這也讓很多新的模塊出來,需要帶有一段時間的糾錯期。這對爭分奪秒的人工智能開發(fā)領(lǐng)域來說,是一種時間上的浪費。
因此有程序員提出,能不能作為開源程序員加入其中,為飛槳目前的不斷完善,提供自己的思路和幫助。
另外,由于百度發(fā)展的局限性,使得飛槳在海外的應(yīng)用受限。如何將飛槳推到國際市場,恐怕是百度在2022年一定要認(rèn)真考慮的重要問題。
畢竟,百度是將AI作為未來發(fā)展的基石,而飛槳被看作是百度AI的核心,那么李彥宏對于百度轉(zhuǎn)型的定位,在國內(nèi)和國際都需要飛槳為支撐的AI故事。
百度也已經(jīng)認(rèn)識到這一點,2021年開始舉辦人工智能規(guī)劃師的培訓(xùn),并開始逐漸國際化發(fā)展,目的很明確。
但一切還需要時間,而現(xiàn)在已經(jīng)到了百米賽跑的關(guān)鍵沖刺期。
雖然百度有底氣,但時間上得要抓緊了。
原文標(biāo)題 : 百度“飛槳”是怎么成為世界第三的?

請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計算迎來商業(yè)化突破,但落地仍需時間
- 7 東陽光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機器人東風(fēng)翻身?