導(dǎo) 讀

為什么、難在哪、怎么做：——下一代人工智能計(jì)算模型探索

Next Generation of AI－Computing Models：——Why， What， and How下一代人工智能計(jì)算模型，主要是使用一些自動(dòng)化技術(shù)幫助我們設(shè)計(jì)更好的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)，并在任務(wù)中提升性能。本文會(huì)重點(diǎn)從Why、What、How這3個(gè)地方重點(diǎn)講解。

第一部分 什么是網(wǎng)絡(luò)架構(gòu)搜索（NAS）？為什么很重要？

一、AI領(lǐng)域未來面臨的挑戰(zhàn)

有3件事是確定的：數(shù)據(jù)（data），模型（model），知識(shí)（knowledge）

1． 數(shù)據(jù)

Data－efficiency：如何利用有限或多模態(tài)數(shù)據(jù)訓(xùn)練模型？

在如今的數(shù)據(jù)爆炸時(shí)代，會(huì)產(chǎn)生海量的數(shù)據(jù)，其中只有很少的數(shù)據(jù)有數(shù)據(jù)標(biāo)注，大量的數(shù)據(jù)沒有數(shù)據(jù)標(biāo)注，且數(shù)據(jù)很“臟”。于是引出了第一個(gè)問題：如何從海量數(shù)據(jù)重，真正學(xué)習(xí)到自己想要的東西。

AI未來的發(fā)展方向是從全監(jiān)督發(fā)展成自監(jiān)督和無監(jiān)督的方向。

2． 模型

Auto－learning：如何為人工智能應(yīng)用設(shè)計(jì)強(qiáng)大高效的模型？

這一代的計(jì)算模型主要是基于深度學(xué)習(xí)的，尤其是卷積神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域的應(yīng)用，使得原先的模型從手工識(shí)別特征發(fā)展到自動(dòng)學(xué)習(xí)特征。

基于這種發(fā)展的趨勢，我們將模型繼續(xù)推進(jìn)一步，使得深度學(xué)習(xí)的網(wǎng)絡(luò)設(shè)計(jì)也從手動(dòng)轉(zhuǎn)為自動(dòng)。這是模型部分所面臨的挑戰(zhàn)。

3． 知識(shí)

Knowledge－aware：如何定義和存儲(chǔ)知識(shí)，使訓(xùn)練后的模型安全可靠？

現(xiàn)有模型的算法，大部分都是擬合和訓(xùn)練數(shù)據(jù)，并不能保證擬合得到的結(jié)果具備分析常識(shí)的能力，即“不能真正地學(xué)習(xí)知識(shí)”。由于計(jì)算機(jī)缺乏常識(shí)，對知識(shí)的學(xué)習(xí)，可能會(huì)成為AI未來5年的研究方向。

二、AutoML介紹

本文的重點(diǎn)是模型部分，主要分析手動(dòng)和自動(dòng)，這兩種思路的區(qū)別。

2017年自動(dòng)化網(wǎng)格搜索架構(gòu)被提出后，“手動(dòng)更好”還是“自動(dòng)更好”這類爭論不斷。在爭論的過程中逐漸催生出了一個(gè)新的方向，稱為自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）。這一方向在工業(yè)界得到了更多的關(guān)注度。

工業(yè)界的關(guān)注度超過學(xué)術(shù)結(jié)，主要有兩個(gè)原因：

（1） 工業(yè)界的算力更強(qiáng)。

AutoML算法對計(jì)算資源的消耗非常大。例如，Google發(fā)表的NAS方面的論文，需要上萬個(gè)GPU ／天才能完成這樣的計(jì)算。

（2） 工業(yè)界有很強(qiáng)的需求。AutoML可以幫工業(yè)界節(jié)省很多的開發(fā)成本。

以華為為例，華為有各種各樣不同的手機(jī)產(chǎn)品，從旗艦機(jī)到低端的手機(jī)，芯片的計(jì)算能力會(huì)差很多。用戶會(huì)需要在不同的手機(jī)中完成相似的功能（如拍視頻），因此針對不同的芯片需要設(shè)計(jì)不同的網(wǎng)絡(luò)架構(gòu)以滿足用戶的需求；另一方面，用戶的需求（如清晰度的要求）是實(shí)時(shí)變化的，如果使用人工機(jī)器學(xué)習(xí)算法，會(huì)帶來巨大的人力投入�；�于此，工業(yè)界存在自動(dòng)化算法的需求。