訂閱
糾錯(cuò)
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   其他   >  正文

麻省理工學(xué)院發(fā)現(xiàn)更小更容易訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或有望推動技術(shù)改革

2019-05-07 14:19
AI銳見
關(guān)注

神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)五、六十年代，當(dāng)時(shí)叫感知機(jī)，擁有輸入層、輸出層和一個(gè)隱含層。輸入的特征向量通過隱含層變換達(dá)到輸出層，在輸出層得到分類結(jié)果。

盡管人工智能取得了很大的進(jìn)步，但現(xiàn)在大多數(shù)基于人工智能的產(chǎn)品仍然依賴于“深度神經(jīng)網(wǎng)絡(luò)”。這種網(wǎng)絡(luò)通常非常大，而且訓(xùn)練成本高得令人望而卻步。

麻省理工學(xué)院的研究人員希望改變這一現(xiàn)狀。在今天發(fā)表的一篇論文中，研究人員揭示了神經(jīng)網(wǎng)絡(luò)中包含的“子網(wǎng)絡(luò)”，比之前的網(wǎng)絡(luò)小10倍，而且可以更便宜、更快地進(jìn)行訓(xùn)練。

為了訓(xùn)練大多數(shù)神經(jīng)網(wǎng)絡(luò)，工程師給它們提供大量的數(shù)據(jù)集，但這可能需要幾天的時(shí)間和昂貴的GPUs。

麻省理工學(xué)院發(fā)現(xiàn)更小更容易訓(xùn)練的神經(jīng)網(wǎng)絡(luò)，或有望推動技術(shù)改革

來自麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)的研究人員發(fā)現(xiàn)，在這些訓(xùn)練有素的網(wǎng)絡(luò)中，有更小的子網(wǎng)絡(luò)，可以做出同樣準(zhǔn)確的預(yù)測。

CSAIL所謂的“彩票假說”就是基于這樣一種觀點(diǎn)，即訓(xùn)練大多數(shù)神經(jīng)網(wǎng)絡(luò)就像買所有的彩票，以確保中獎。相比之下，訓(xùn)練子網(wǎng)就像只買有獎的那張彩票一樣。

問題在于，研究人員還沒有想出如何在不構(gòu)建完整神經(jīng)網(wǎng)絡(luò)的情況下找到這些子網(wǎng)，然后修剪掉不必要的位。研究人員目前還沒有找到這些子網(wǎng)絡(luò)的方法。

如果他們能找到一種方法跳過這一步，直接進(jìn)入子網(wǎng)絡(luò)，那么這一過程可以節(jié)省數(shù)小時(shí)的工作。并使訓(xùn)練神經(jīng)網(wǎng)絡(luò)不僅僅對大公司開發(fā)而且對單個(gè)程序員開放。

但是，如何有效地找到子網(wǎng)絡(luò)，并明確為什么有些子網(wǎng)在訓(xùn)練上比其他子網(wǎng)表現(xiàn)地更好，可能會讓研究人員忙上幾年。

聲明： 本文由入駐維科號的作者撰寫，觀點(diǎn)僅代表作者本人，不代表OFweek立場。如有侵權(quán)或其他問題，請聯(lián)系舉報(bào)。

發(fā)表評論

共0條評論，0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁，請輸入驗(yàn)證碼繼續(xù)

  • 看不清，點(diǎn)擊換一張  刷新

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題：
    *糾錯(cuò)內(nèi)容：
    聯(lián)系郵箱：
    *驗(yàn) 證 碼：

    粵公網(wǎng)安備 44030502002758號