人工智能和對(duì)象存儲(chǔ),能擦出什么樣的火花?
NVIDIA收購(gòu)SwiftStack用來(lái)做什么呢?
首先,我們來(lái)看一下做為事實(shí)上的標(biāo)準(zhǔn)的AWS S3,從骨子里說(shuō),它代表的對(duì)象存儲(chǔ),是一種在線的海量數(shù)據(jù)較低成本的存儲(chǔ)方式,適合跨地域讀寫(xiě);因此,雖然備份歸檔是對(duì)象存儲(chǔ)的使用場(chǎng)景之一,但只是做備份歸檔,其實(shí)是委屈了對(duì)象存儲(chǔ)。
其次,對(duì)象存儲(chǔ)的高并發(fā),特別適合前端呈現(xiàn)分布式負(fù)載的場(chǎng)景。AI場(chǎng)景的使用,包括AI訓(xùn)練、AI推理,是由許許多多個(gè)任務(wù)并發(fā)進(jìn)行的,任務(wù)與任務(wù)之間幾乎沒(méi)有數(shù)據(jù)的交互,因此很少考慮存儲(chǔ)通常要顧及的寫(xiě)一致性。
因此,在我們看來(lái),NVIDIA收購(gòu)SwiftStack或許有如下幾個(gè)原因:
1)NVIDIA欲整合AI基礎(chǔ)架構(gòu)
NVIDIA是一個(gè)非常注重生態(tài)的公司,它的版圖里應(yīng)該不僅僅是計(jì)算以及衍生出來(lái)的各個(gè)組件,從近兩年的動(dòng)作來(lái)看,NVIDIA想整合整個(gè)AI基礎(chǔ)架構(gòu)。2019年3月11日NVIDIA以69億美元收購(gòu) Mellanox;2020年3月6日宣布收購(gòu)SwiftStack。
2)SwiftStack具備數(shù)據(jù)跨云管理和高并發(fā)的優(yōu)勢(shì)
據(jù)報(bào)道:"Manuvir Das表示,NVIDIA尤其喜歡SwiftStack的1space技術(shù),該技術(shù)可以為忙于處理緩存和分層等任務(wù)的GPU助一臂之力。
SwiftStack V7于2019年發(fā)布,提供數(shù)PB的規(guī)模,可處理數(shù)千個(gè)worker節(jié)點(diǎn)同時(shí)訪問(wèn)數(shù)據(jù)的任務(wù)。它提供了超過(guò)100GB /秒的吞吐速度,性能和容量都能實(shí)現(xiàn)線性擴(kuò)展。
1space是NVIDIA收購(gòu)Swiftstack的主要原因,這是一種文件連接件,使云原生應(yīng)用程序可以通過(guò)S3或Swift對(duì)象API訪問(wèn)本地?cái)?shù)據(jù)或AWS數(shù)據(jù),并可以確保不斷向數(shù)據(jù)提供計(jì)算資源”
我個(gè)人認(rèn)為,AI訓(xùn)練有個(gè)特點(diǎn),它一次性將原始訓(xùn)練集的數(shù)據(jù)加載到計(jì)算節(jié)點(diǎn)的內(nèi)存或者SSD后,需要經(jīng)過(guò)一段較長(zhǎng)的時(shí)間(也即計(jì)算或說(shuō)訓(xùn)練),才會(huì)再次讀取存儲(chǔ)上的數(shù)據(jù)。因此,對(duì)象存儲(chǔ)的延遲可能不會(huì)構(gòu)成障礙,這一點(diǎn)可以通過(guò)高并發(fā)來(lái)彌補(bǔ)。

發(fā)表評(píng)論
請(qǐng)輸入評(píng)論內(nèi)容...
請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字
最新活動(dòng)更多
-
3月27日立即報(bào)名>> 【工程師系列】汽車(chē)電子技術(shù)在線大會(huì)
-
4月30日立即下載>> 【村田汽車(chē)】汽車(chē)E/E架構(gòu)革新中,新智能座艙挑戰(zhàn)的解決方案
-
5月15-17日立即預(yù)約>> 【線下巡回】2025年STM32峰會(huì)
-
即日-5.15立即報(bào)名>>> 【在線會(huì)議】安森美Hyperlux™ ID系列引領(lǐng)iToF技術(shù)革新
-
5月15日立即下載>> 【白皮書(shū)】精確和高效地表征3000V/20A功率器件應(yīng)用指南
-
5月16日立即參評(píng) >> 【評(píng)選啟動(dòng)】維科杯·OFweek 2025(第十屆)人工智能行業(yè)年度評(píng)選
推薦專(zhuān)題
- 1 UALink規(guī)范發(fā)布:挑戰(zhàn)英偉達(dá)AI統(tǒng)治的開(kāi)始
- 2 北電數(shù)智主辦酒仙橋論壇,探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊,“AI四小龍”已折戟兩家
- 4 “AI寒武紀(jì)”爆發(fā)至今,五類(lèi)新物種登上歷史舞臺(tái)
- 5 國(guó)產(chǎn)智駕迎戰(zhàn)特斯拉FSD,AI含量差幾何?
- 6 光計(jì)算迎來(lái)商業(yè)化突破,但落地仍需時(shí)間
- 7 東陽(yáng)光:2024年扭虧、一季度凈利大增,液冷疊加具身智能打開(kāi)成長(zhǎng)空間
- 8 地平線自動(dòng)駕駛方案解讀
- 9 封殺AI“照騙”,“淘寶們”終于不忍了?
- 10 優(yōu)必選:營(yíng)收大增主靠小件,虧損繼續(xù)又逢關(guān)稅,能否乘機(jī)器人東風(fēng)翻身?