訂閱
糾錯
加入自媒體

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

2020-03-29 11:25
深幾度
關注

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

1999年,當時42歲的著名的計算機程序員埃里克·史蒂文·雷蒙德(Eric S. Raymond)在自由軟件的范疇下提出了Open Source開源軟件概念。

他有一個觀點是,“足夠多的眼睛,就可讓所有問題浮現(xiàn)!保℅iven enough eyeballs, all bugs are shallow)。

這個名為“林納斯定律”的觀點對開放源代碼運動影響極大。

簡單解釋,只要有足夠的測試員及共同開發(fā)者,所有問題都會在很短時間內被發(fā)現(xiàn),而且能夠很容易被解決。

近年來,深度學習推動著AI技術和產業(yè)發(fā)展浪潮迭起。然而,隨著技術的不斷前進和應用的大規(guī)模增長,產業(yè)開發(fā)者們面臨的挑戰(zhàn)也日漸突出:數(shù)據(jù)量越來越大,動輒上 TB;模型越來越復雜,模型參數(shù)也越來越多……

而另一方面,隨著國內產業(yè)互聯(lián)網、產業(yè)智能化進程及“新基建”的步伐進一步深入,產業(yè)界對于AI的需求不斷擴張。

AI落地過程中必然會涉及到更多場景。這些場景或許和工業(yè)有關,或許和農業(yè)有關,或許和交通有關,或許還與智能城市建設有關,但都需要企業(yè)和開發(fā)者們深入其中,根據(jù)數(shù)據(jù)、計算、部署場景、硬件解決方案等不斷調教算法。

挑戰(zhàn)越來越大,需求越來越多,稱手的AI開源工具,特別是作為底層核心的開源深度學習框架/平臺,對于在AI落地應用過程中沖在最前方的那些產業(yè)開發(fā)者而言,重要性再度凸顯。

本周之內,早已在AI開源領域深耕多年的百度打頭,華為為代表的的ICT企業(yè)、曠視為代表的AI初創(chuàng)企業(yè)跟進,在一周內先后升級或者開源了自家的深度學習框架/平臺,國產深度學習框架/平臺迎來一輪密集爆發(fā)。

越來越多的國產眼睛,正在凝視深度學習框架/平臺開源的戰(zhàn)場。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

在這輪經濟周期中,每家企業(yè)都是“新基建”的齒輪。各自的深度學習框架/平臺開源開放,共同推動了國內AI開源的進程。

畢竟,過去國內開源社區(qū)氛圍和美國存在差距,缺乏這種相互探討、技術進步的社區(qū)氣氛。

去看GitHub上谷歌、Facebook、百度等人工智能前沿企業(yè)在深度學習框架這個戰(zhàn)場的和諧交鋒、友好博弈,你能發(fā)覺,國內需要走的路還是很長。

這也是國內開源社區(qū)真正需要向太平洋東岸學習的地方。

“眾聲喧嘩”的誕生

任何技術的交鋒,都像是人與人之間的互動,這是“眾聲喧嘩”、“相互吸納”的過程。各有所長各各有所短,競爭和博弈,會帶來行業(yè)整體進步。

“新基建”背景下,企業(yè)都是在為圍繞著技術、商業(yè)、組織乃至對外賦能。尤其是疫情過后,企業(yè)一方面面臨著外部壓力困擾,另一方面也面臨著內部協(xié)同訴求,于是一大批新的技術產品涌現(xiàn)出來。

我們不妨先去觀察,三者技術方案是怎樣的。

3月23日百度飛槳(PaddlePaddle)宣布在智能視覺領域得到了提升。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

PaddleCV全景圖首度曝光,其底層框架與工具層得到了工業(yè)級提升,這種提升面向的是當下工業(yè)領域訴求。

要知道,目標檢測是計算機視覺領域不可缺少的一環(huán)。深度學習往往需要對圖像進行處理,3D視覺往往意味著在工業(yè)領域會有更好的實踐。僅僅是在2018年的工博會和2019年的光博會上,工業(yè)視覺領域,多的是火爆的3D視覺引導。

我在《培育架構師,要技術,更要技術領導力》一文中就提到:

這次疫情讓一批工業(yè)企業(yè)倉皇失措中發(fā)現(xiàn),自家商業(yè)價值體系及技術架構極其松散。想要抵御突如其來的風險,顯得有些力不從心。

此時針對這部分企業(yè)給出工業(yè)級部署,其實是在順應市場需求。

工業(yè)企業(yè)在疫情襲來時,面臨安全生產和停工風險。工業(yè)企業(yè)對AI需求迅速增長,很多企業(yè)甚至剛剛才開始學習使用深度學習,也缺乏必要的人才儲備,甚至還需要讓人才遠程學習,和互聯(lián)網、AI大廠的相關領域負責人“陪練”。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

工業(yè)企業(yè)需要3D視覺的分析,用于自家業(yè)務的改進。還需要更多經過成熟驗證的算法做支撐。所以你可以看到,PaddleCV新增了15個在產業(yè)實踐中廣泛應用的算法,整體高質量算法數(shù)量達到73個,35個高精度預訓練模型,總數(shù)達到203個。

算法重要性無需多言。工業(yè)企業(yè)一般沒有太多時間和經驗投入算法研究,使用現(xiàn)成的算法,往往可以節(jié)約人力和成本。為這些企業(yè)提供更好的算法,恰當其實。

除了對智能視覺進行升級之外,百度飛槳還在近期新增適配比特大陸最新算豐系列AI芯片、兩者的融合,體現(xiàn)在芯片利用率、性能功耗比等指標上,相比傳統(tǒng)GPU更適合深度學習推理。這對產業(yè)開發(fā)者運用AI開源底層工具推動應用落地而言,無疑又是一大福音。

百度對飛槳深度學習平臺的不斷升級改進是值得關注的。

在AI開源、特別是深度學習框架/平臺方面深耕多年,百度深諳技術開源之道,飛槳已經具備了兼具靈活和效率的開發(fā)機制、工業(yè)級應用效果的模型、超大規(guī)模分布式訓練能力、推理引擎一體化設計以及系統(tǒng)化的服務支持等等特點,解決了諸多實際開發(fā)和應用過程中的剛需,讓產業(yè)開發(fā)者用著更稱手。而對于AI開源領域的后來者而言,飛槳也塑造了一個樣板。

我們再看看曠視。

曠視在3月25日正式發(fā)布了曠視AI生產力平臺Brain++,還開源了其深度學習框架天元( MegEngine)。

追溯MegEngine的誕生,它在2014年由曠視自主開發(fā)形成,在這個基礎上則是將數(shù)據(jù)和算力平臺融合,構建了集“算法、數(shù)據(jù)和算力”于一體的AI生產力套件。

對曠視這樣一家創(chuàng)業(yè)企業(yè)而言,此時開源自家深度學習框架可能有著非常復雜的內外因素。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

從內部視角看,曠視這幾年針對城市、供應鏈、智能設備等領域發(fā)布了一系列解決方案,的確積累了一定的行業(yè)經驗,它也到了可以嘗試對外輸出自身解決方案的時刻。這種對外輸出的能力,是當下所有產業(yè)互聯(lián)網領域耕耘到一定程度公司都會做的事情。

從外部視角看,創(chuàng)業(yè)企業(yè)在當下的環(huán)境中普遍面臨考驗,一批企業(yè)面臨現(xiàn)金流斷裂的危機。曠視可能并不存在這方面的問題,但后疫情關口通過對標一線巨頭的方式去“秀肌肉”,一方面是在提振內部士氣,另一方面也是在吸引行業(yè)關注。當然,它恐怕還有向上管理的考量。

不過,曠視發(fā)布深度學習框架的時間節(jié)點,和百度、華為深度學習框架改進或發(fā)布的時間節(jié)點靠的太近,這種“近”,其實有著某種討巧和曖昧的因素——畢竟一家創(chuàng)業(yè)公司在面對巨頭的時候,必須要懂得使用“巧勁”才能尋找到自己的位置和空間。

幾乎是同時,華為在3月28日的華為開發(fā)者大會2020上也推出了自家全場景AI計算框架MindSpore。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

華為更是如此。這樣一家ICT企業(yè)一直被視為中國數(shù)字化轉型領導者。過去它一直以“硬”的形象示人,但是現(xiàn)在卻在愈加往“柔軟”的方向發(fā)展。

從內部視角去看,華為此時推出開源框架,是華為云Cloud&AI BG成立后的重要一步。尤其是這次在華為開發(fā)者大會2020上推出這個產品,用意更是明顯。它很大一部分因素在于匯聚起一批開發(fā)者。

從2017年華為成立Cloud&AI產品與服務BU開始,這家企業(yè)就一直在試圖擺脫“賣盒子”的形象,我在去年一篇文章中就曾戲言“華為云變得更堅硬也更柔軟了”。

今年1月時,華為又將“Cloud&AI產品與服務BU”提升成了“Cloud&AI BG”,成為華為第四大BG(事業(yè)群)。從BU到BG就會發(fā)現(xiàn),云的地位再次提高了。

云和開源幾乎是同一個問題的兩個方面,云的進化必然會帶來開源這個行為。

從外部視角去看,華為云一直面臨著阿里云、騰訊云、百度智能云等廠商的競爭,百度也早早開源了飛槳(PaddlePaddle)。華為云也到了關鍵的對外開放的窗口期,這種開放其實也是在適應競爭環(huán)境。

爭鳴和博弈的來臨

華為和曠視的入局,讓國產深度學習框架/平臺市場展現(xiàn)出了爭鳴和博弈的態(tài)勢。

產業(yè)互聯(lián)網、產業(yè)智能化的進程行至今日,已不可阻擋,疫情還加速了這個過程。這次華為、曠視接連宣布開源深度學習框架,更是這種環(huán)境下的產物。一些后發(fā)廠商需要在后疫情的“窗口期”中搶占位置。

這種搶占位置的姿態(tài),不僅僅是向上管理,也是橫向競爭,更是對合作伙伴的吸引。

我們不能簡單用“零和”視角去思考當下市場的變化,市場不是幾家企業(yè)在簡單切蛋糕。如果你從國內AI、產業(yè)互聯(lián)網步伐前進的宏觀背景去思考,就會知道,無論是百度、華為、曠視,其實都是中國這輪“新基建”帶來的又一輪數(shù)字化轉型浪潮中的參與者。

我們甚至可以這么理解,“新基建”這個機器中有一個個轉向產業(yè)互聯(lián)網、產業(yè)智能化的“齒輪”,這些中又有一個個“彈簧”,保持著“齒輪”之間互動平衡。大機器的轟鳴前行,會引發(fā)所有企業(yè)的連鎖反應。

不管怎樣說,這樣的爭鳴和博弈都將集體降低算法研發(fā)成本,為接下來AI能力的大規(guī)模工業(yè)化普及創(chuàng)造條件。

事實上,這也將進一步推動AI技術和智能經濟實現(xiàn)批量生產。

這次值得注意的是兩個玩家,一個是百度,一個是華為。

百度飛槳當前在社區(qū)、技術、生態(tài)都是最完整的。

先看組數(shù)據(jù),飛槳累計服務超過150萬開發(fā)者,有超過6.5萬企業(yè)用戶,在定制化訓練平臺上發(fā)布了16.9萬個模型,且模型數(shù)量呈現(xiàn)顯著增長趨勢,在工業(yè)、農業(yè)、服務業(yè)等各行各業(yè)中得到了的廣泛應用。

飛槳的深度學習模型開發(fā)能力、訓練能力、預測和部署能力一直在持續(xù)提升,可比肩TensorFlow、PyTorch等國際主流框架,甚至不少技術還更強。飛槳也是中國首個全面開源開放、功能完備的產業(yè)級深度學習平臺。

2019年底IDC行業(yè)市場調研報告中,國內整體市場形成TensorFlow、PyTorch、飛槳(PaddlePaddle)三強爭霸的局面。

總的來說,百度飛槳處在國內領頭羊的位置,甚至可以認為,飛槳是國內目前功能最完備的端到端開源深度學習平臺。

百度領銜、華為曠視加入,國產深度學習框架迎來集中爆發(fā)

用百度CTO王海峰的話來說,在智能時代,深度學習框架向下對接芯片指令集,向上承接各種業(yè)務模型、行業(yè)應用,起到承上啟下的作用,是“智能時代的操作系統(tǒng)”。

華為目前則是強在硬件。華為自身在ICT領域對技術和能力有所積淀,尤其是“鯤鵬+昇騰”的算力充沛,它的實力不可小覷。

華為在硬件開發(fā)者生態(tài)這塊的聚合的確也處在相對領先的位置,尤其是在政企市場,很多客戶要求私有化部署。華為在ICT領域的積淀,容易在政企客戶隱私的情況下實現(xiàn)跨場景協(xié)同。

曠視的體量相對百度和華為小一些,它要在自身的優(yōu)勢領域進行發(fā)揮。

在各家的爭鳴和博弈中,很大程度要看社區(qū)的建設——畢竟從漏斗模型來說,社區(qū)開發(fā)者規(guī)模,幾乎決定了客戶規(guī)模。

國外典型開源商業(yè)模式是,社區(qū)-產品-利潤(典型的包括Spark,MySQL,Hadoop等等都是如此),這個模式已經被國外成功驗證。

也就是說,在社區(qū)內提供開源、免費的產品,為開發(fā)者提供新的模塊,商業(yè)版則是會提供Bug修復、性能優(yōu)化 、增值功能 、技術支持等能力。

深度學習框架/平臺的開源商業(yè)模式和其他領域的開源經典模式略有不同,并非所有的開源廠商都會免費提供產品,開源不等于免費,企業(yè)級用戶在獲得可修改的算法的同時依然有義務支付授權費用。

開源框架/平臺能夠節(jié)省設計和開發(fā)的時間,但選擇任何一個開源平臺都需要客戶對這個平臺充分熟悉。任何一個開發(fā)平臺都不可能提供完全自由的設計空間,應用的實現(xiàn)受制于開源框架/平臺和特性基礎。

百度飛槳的社區(qū)建設,起步早,規(guī)模已經很大,可以說“社區(qū)”這道護城河已經又寬又深。曠視、華為等的產品,則需要從無到有去走社區(qū)-產品-利潤的路。

雖然說,百度和華為都在芯片、云、深度學習平臺三者之間構建起了智能硬件到算法軟件再到算力供給的智能制造解決方案大閉環(huán),具備端到端軟硬一體的能力。

但真正值得注意的是,還是百度和華為這樣體量較大的公司,它們的未來空間的想象力,主要在于兩塊。

一塊是復雜場景的考驗,想要真正部署落地,往往需要全面能力,其中包括Serving、服務器端集成、移動/邊緣/AI芯片等多種芯片上的集成,Web端集成等,這是一個系統(tǒng)工程。

另一塊是系統(tǒng)工程的整合,供應鏈體系需要ARM這類提供CPU和GPU的國外廠商配合支撐。系統(tǒng)工程對大廠而言會顯得相對游刃有余,對創(chuàng)業(yè)公司來說,需要多多觀察。

當然,我們可以預料到,百度會進一步增強軟硬結合能力,華為則是會加強社區(qū)的建設,曠視則要在巨頭之間舞動長袖尋找自己的空間。

至于哪家會取得優(yōu)勢,我們暫時不好判斷。但是這種生態(tài)與生態(tài)之間的競爭,往往取決于社區(qū)自下而上的創(chuàng)新涌現(xiàn),而不是自上而下的主動建構。

另外一點值得注意的是,國內深度學習框架/平臺的集中涌現(xiàn),它接下來可能會帶來的變化是,谷歌的Tensorflow目前在國內的地位會極大遭受蠶食和挑戰(zhàn)。

野心、格局和胸懷

開源社區(qū)的協(xié)同模式改變和顛覆了軟件業(yè)的工作方式,可以創(chuàng)造出高質量的軟件產品。

在過往RedHat、MySQL、Asterisk都是非常成功的開源公司。當然最重要的是,開源軟件真正釋放了軟件開發(fā)人員的創(chuàng)造力和生產力,

但實際上,中國的開源相比海外依舊不足。直至今日,國內都沒有構建起像GitHub這樣大影響力、成規(guī)模而且在世界范圍和企業(yè)內部具備認可度的開源社區(qū)。

原因在于三塊。

  • 語言障礙,中國軟件開發(fā)人員在國際開源社區(qū)很難有大規(guī)模的參與;

  • 中國軟件開發(fā)發(fā)展的時間還不長,核心開發(fā)人員積累還不夠;

  • 大學教育在開源領域嚴重不足,教師也缺乏了解。

相比于GitHub這種環(huán)境,國內社區(qū)氛圍依舊不足,企業(yè)雖然對開源深度學習框架/平臺的使用火熱,但是開發(fā)氛圍依舊不濃。

在過去,百度的飛槳,一直是國內首個也是唯一一個自研的開源開放的深度學習平臺,被視為“智能時代的操作系統(tǒng)”。

現(xiàn)在華為和曠視的加入,也將對開發(fā)者群體有一些影響。

我們可以期待的是這個市場的百花齊放。

我們不妨去看看埃里克·史蒂文·雷蒙德在他那本《大教堂與集市》中提出的觀點。

他把軟件開發(fā)分成了兩種最為經典且截然不同的模式:大教堂模式和集市模式。

傳統(tǒng)大型軟件公司的開發(fā)模式就像是艱難而緩慢的大教堂建造工程,它有著嚴密的管理和封閉的集中式結構,但在創(chuàng)新上、生產力上和Bug控制上卻落后于集市模式。

集市模式是一種并行的、對等的扁平化開發(fā)結構,其參與者大多來自于志愿者,結構松散,來去自由,就像是一個亂糟糟的集市,但就是這樣的組織形式,卻取得了像Linux這樣令人驚嘆的成功。

反觀今日深度學習框架/平臺市場,一定是選擇“集市”的模式,才能獲得自下而上的創(chuàng)新。

依舊是,埃里克·史蒂文·雷蒙德那個觀點——足夠多的眼睛,就可讓所有問題浮現(xiàn)。

過去深度學習框架/平臺使用有限,但隨著華為、曠視的加入,凝視BUG的眼睛變得更多了——對百度飛槳來說,其實也是利好消息,因為這意味著將來市場會變得更大、環(huán)境會變得更好,飛槳的商業(yè)化進程也將進一步加快。

華為有華為的問題,曠視有曠視的苦惱 ,百度在華為和曠視入場的大背景下,其實面臨更多利好。

很多事情,要跳出原有框架去解決現(xiàn)存問題。不然永遠都是格局低、零和博弈的死局,企業(yè)也是如此。一方面需要有上帝視角,另一方面也需要有個體理解。

每一家企業(yè)身處市場,必然會有自己的思量、無奈和妥協(xié)。企業(yè)在輿論場上相對輸出自己的觀點固然可以理解,但因為向上管理的因素,一些企業(yè)還是會做出超出事實的觀點,這對不明就里的觀眾而言,不過是搏一搏眼球。

深度學習框架/平臺這個市場,雖說有競爭,但其實當下來看,還是相對穩(wěn)定。不管怎樣,企業(yè)的入場會帶來市場的變化,AI從研究到生產一直存在一定的距離,縮短距離顯得極為重要——畢竟一切都是為了開發(fā)者。

市場上雖然也的確存在一定的泡沫,但啤酒有泡沫才會香甜,開發(fā)者面臨泡沫,才會多幾個選擇,從中得到最適合自家的深度學習框架/平臺。

你去看2019年上海谷歌開發(fā)者大會期間,TensorFlow全球產品總監(jiān) Kemal Moujahid面對競爭時對 DeepTech說過的一段話就很有意思:

我們非常樂于看到行業(yè)取得發(fā)展,F(xiàn)在,全球范圍來看,雖然機器學習和AI的普及度還處在初期階段,但是我們不能忘了最終的目標,在全球推廣普及機器學習和AI。所以,我們現(xiàn)在能做的就是提供最好的應用和最好的技術平臺,讓整個應用場景可能性更多,普及速度更快。

谷歌其實是站在全球AI發(fā)展的視角去思考這個問題,對國內企業(yè)而言,也需要站在國內AI工業(yè)化大生產的環(huán)境以及“新基建”的背景去思考這個問題。

我們甚至可以暢想,隨著華為、曠視的入場,一些領頭廠商是否能夠牽頭建設起中國的GitHub。當然這種想法有些不切實際,但我真正想表達的意思是:

中國企業(yè)應該有更大的野心和胸懷。因為最后拼的,其實還是企業(yè)格局和內在實力。

文|吳俊宇

聲明: 本文由入駐維科號的作者撰寫,觀點僅代表作者本人,不代表OFweek立場。如有侵權或其他問題,請聯(lián)系舉報。

發(fā)表評論

0條評論,0人參與

請輸入評論內容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁,請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關注公眾號
    OFweek人工智能網
    獲取更多精彩內容
    文章糾錯
    x
    *文字標題:
    *糾錯內容:
    聯(lián)系郵箱:
    *驗 證 碼:

    粵公網安備 44030502002758號