CVPR 2020: SGAS，一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法
根據(jù)這三個影響邊選擇的三個因素，我們提出了兩個選擇指標：
指標1 ：具有高的邊重要性和高的邊確定性的邊將被選擇，公式為：
指標2：在指標1的基礎(chǔ)上，被選擇的邊也應(yīng)該具有較高的穩(wěn)定性：
這里，normalize（·）指 Min－Max標準化。
實驗結(jié)果
我們搜索了CNN和GCN網(wǎng)絡(luò)結(jié)構(gòu)，并在CIFAR，ImageNet圖像分類，ModelNet點云分類，PPI生物圖數(shù)據(jù)節(jié)點分類上達到了SOTA效果。
CNN
我們將SGAS用到CNN的網(wǎng)絡(luò)結(jié)構(gòu)搜索中， CNN網(wǎng)絡(luò)結(jié)構(gòu)由普通單元（normalcell） 和 歸約單元（reduction cell）組成。普通單元保持特征圖大小不變，歸約單元縮小特征圖至． CNN任務(wù)中，搜索空間由8個運算組成：skip－connect，max－pool－3×3， avg－pool－3×3， sep－conv－3×3， sep－conv5×5， dil－conv－3×3，dil－conv－5×5， zero。
SGAS在CIFAR－10的訓(xùn)練集與驗證集搜索結(jié)構(gòu)，并在測試集上進行測試，結(jié)果如表1所示：
SGAS在CIFAR－10的訓(xùn)練集與驗證集搜索結(jié)構(gòu)，并在ImageNet測試集上進行測試，結(jié)果如表2所示：
我們的SGAS在性能超越了手工設(shè)計的網(wǎng)絡(luò)結(jié)構(gòu)以及其他NAS算法。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 UALink規(guī)范發(fā)布：挑戰(zhàn)英偉達AI統(tǒng)治的開始
- 2 北電數(shù)智主辦酒仙橋論壇，探索AI產(chǎn)業(yè)發(fā)展新路徑
- 3 降薪、加班、裁員三重暴擊，“AI四小龍”已折戟兩家
- 4 “AI寒武紀”爆發(fā)至今，五類新物種登上歷史舞臺
- 5 國產(chǎn)智駕迎戰(zhàn)特斯拉FSD，AI含量差幾何？
- 6 光計算迎來商業(yè)化突破，但落地仍需時間
- 7 東陽光：2024年扭虧、一季度凈利大增，液冷疊加具身智能打開成長空間
- 8 地平線自動駕駛方案解讀
- 9 封殺AI“照騙”，“淘寶們”終于不忍了？
- 10 優(yōu)必選：營收大增主靠小件，虧損繼續(xù)又逢關(guān)稅，能否乘機器人東風翻身？
