趨勢丨設計的代價：深度學習已經(jīng)接近計算極限
前言：
關于深度學習，它正在快速接近其極限。雖然事實可能的確如此，但我們?nèi)晕茨茉谌粘Ｉ钪懈惺艿饺娌渴鹕疃葘W習的影響。
MIT：算力將探底，算法需改革
近日，MIT發(fā)出警告：深度學習正在接近現(xiàn)有芯片的算力極限，如果不變革算法，深度學習恐難再進步。
根據(jù)麻省理工學院，MIT－IBM Watson AI實驗室，Underwood國際學院和巴西利亞大學的研究人員在最近的研究中發(fā)現(xiàn)，持續(xù)不斷的進步將需要通過改變現(xiàn)有技術或通過尚未發(fā)現(xiàn)的新方法來更有效地使用深度學習方法。
目前深度學習的繁榮過度依賴算力的提升，在后摩爾定律時代可能遭遇發(fā)展瓶頸，在算法改進上還需多多努力。
深度學習不是偶然的計算代價，而是設計的代價。共同的靈活性使它能夠出色地建模各種現(xiàn)象，并且性能優(yōu)于專家模型，這也使其在計算上的成本大大提高。
研究人員估計，三年的算法改進相當于計算能力提高10倍�？傮w而言，在深度學習的許多領域中，訓練模型的進步取決于所使用的計算能力的大幅度提高。 另一種可能性是，要改善算法本身可能需要互補地提高計算能力。
在研究過程中，研究人員還對預測進行了推斷，以了解達到各種理論基準所需的計算能力以及相關的經(jīng)濟和環(huán)境成本。
即使是最樂觀的計算，要降低ImageNet上的圖像分類錯誤率，也需要進行10的五次方以上的計算。
根據(jù)多項式和指數(shù)模型的預測，通過深度學習獲得相應性能基準所需的算力（以Gflops為單位），碳排放量和經(jīng)濟成本，最樂觀的估計，ImageNet分類誤差要想達到1％，需要10＾28 Gflops的算力，這對硬件來說是不小的壓力。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今，五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關稅，能否乘機器人東風翻身？
