目錄：

一、為什么需要自動(dòng)機(jī)器學(xué)習(xí)

二、超參數(shù)優(yōu)化 Hyper－parameter Optimization

三、元學(xué)習(xí) Meta Learning

四、神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索 Neural Architecture Search

五、自動(dòng)化特征工程

六、其它自動(dòng)機(jī)器學(xué)習(xí)工具集

一、為什么需要自動(dòng)機(jī)器學(xué)習(xí)

對(duì)于機(jī)器學(xué)習(xí)的新用戶而言，使用機(jī)器學(xué)習(xí)算法的一個(gè)主要的障礙就是算法的性能受許多的設(shè)計(jì)決策影響。隨著深度學(xué)習(xí)的流行，工程師需要選擇相應(yīng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)，訓(xùn)練過(guò)程，正則化方法，超參數(shù)等等，所有的這些都對(duì)算法的性能有很大的影響。于是深度學(xué)習(xí)工程師也被戲稱為調(diào)參工程師。

自動(dòng)機(jī)器學(xué)習(xí)（AutoML）的目標(biāo)就是使用自動(dòng)化的數(shù)據(jù)驅(qū)動(dòng)方式來(lái)做出上述的決策。用戶只要提供數(shù)據(jù)，自動(dòng)機(jī)器學(xué)習(xí)系統(tǒng)自動(dòng)的決定最佳的方案。領(lǐng)域?qū)＜也辉傩枰�苦惱于學(xué)習(xí)各種機(jī)器學(xué)習(xí)的算法。

自動(dòng)機(jī)器學(xué)習(xí)不光包括大家熟知的算法選擇，超參數(shù)優(yōu)化，和神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索，還覆蓋機(jī)器學(xué)習(xí)工作流的每一步：

自動(dòng)準(zhǔn)備數(shù)據(jù)

自動(dòng)特征選擇

自動(dòng)選擇算法

超參數(shù)優(yōu)化

自動(dòng)流水線／工作流構(gòu)建

神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索

自動(dòng)模型選擇和集成學(xué)習(xí)

二、超參數(shù)優(yōu)化

Hyper－parameter Optimization

學(xué)習(xí)器模型中一般有兩類參數(shù)，一類是可以從數(shù)據(jù)中學(xué)習(xí)估計(jì)得到，還有一類參數(shù)時(shí)無(wú)法從數(shù)據(jù)中估計(jì)，只能靠人的經(jīng)驗(yàn)進(jìn)行設(shè)計(jì)指定，后者成為超參數(shù)。比如，支持向量機(jī)里面的C Kernal Gamma；樸素貝葉斯里面的alpha等。

超參數(shù)優(yōu)化有很多方法：

最常見(jiàn)的類型是黑盒優(yōu)化 （black－box function optimization）。所謂黑盒優(yōu)化，就是將決策網(wǎng)絡(luò)當(dāng)作是一個(gè)黑盒來(lái)進(jìn)行優(yōu)化，僅關(guān)心輸入和輸出，而忽略其內(nèi)部機(jī)制。決策網(wǎng)絡(luò)通常是可以參數(shù)化的，這時(shí)候我們進(jìn)行優(yōu)化首先要考慮的是收斂性。

以下的幾類方法都是屬于黑盒優(yōu)化：

網(wǎng)格搜索 （grid search）

Grid search大家都應(yīng)該比較熟悉，是一種通過(guò)遍歷給定的參數(shù)組合來(lái)優(yōu)化模型表現(xiàn)的方法。網(wǎng)格搜索的問(wèn)題是很容易發(fā)生維度災(zāi)難，優(yōu)點(diǎn)是很容易并行。

隨機(jī)搜索 （random search）

隨機(jī)搜索是利用隨機(jī)數(shù)求極小點(diǎn)而求得函數(shù)近似的最優(yōu)解的方法。

很多時(shí)候，隨機(jī)搜索比網(wǎng)格搜索效果要更好，但是我們可以從上圖看出，它們都不能保證找到最優(yōu)解。

貝葉斯優(yōu)化

貝葉斯優(yōu)化是一種迭代的優(yōu)化算法，包含兩個(gè)主要的元素，輸入數(shù)據(jù)假設(shè)的模型和一個(gè)采集函數(shù)用來(lái)來(lái)決定下一步要評(píng)估哪一個(gè)點(diǎn)。每一步迭代，都使用所有的觀測(cè)數(shù)據(jù)fit模型，然后利用激活函數(shù)預(yù)測(cè)模型的概率分布，決定如何利用參數(shù)點(diǎn)，權(quán)衡是Explaoration還是Exploitation。相對(duì)于其它的黑盒優(yōu)化算法，激活函數(shù)的計(jì)算量要少很多，這也是為什么貝葉斯優(yōu)化被認(rèn)為是更好的超參數(shù)調(diào)優(yōu)的算法。

黑盒優(yōu)化的一些工具：

hyperopt

hyperopt 是一個(gè)Python庫(kù)，可以用來(lái)尋找實(shí)數(shù)，離散值，條件維度等搜索空間的最佳值

Google Vizier

Google的內(nèi)部的機(jī)器學(xué)習(xí)系統(tǒng) Google Vizier能夠利用遷移學(xué)習(xí)等技術(shù)自動(dòng)優(yōu)化其他機(jī)器學(xué)習(xí)系統(tǒng)的超參數(shù)

advisor

Google Vizier的開源實(shí)現(xiàn)

katib

基于Kubernetes的超參數(shù)優(yōu)化工具

由于優(yōu)化目標(biāo)具有不連續(xù)、不可導(dǎo)等數(shù)學(xué)性質(zhì)，所以一些搜索和非梯度優(yōu)化算法被用來(lái)求解該問(wèn)題，包括我們上面提到的這些黑盒算法。此類算法通過(guò)采樣和對(duì)采樣的評(píng)價(jià)進(jìn)行搜索，往往需要大量對(duì)采樣的評(píng)價(jià)才能獲得比較好的結(jié)果。然而，在自動(dòng)機(jī)器學(xué)習(xí)任務(wù)中評(píng)價(jià)往往通過(guò) k 折交叉驗(yàn)證獲得，在大數(shù)據(jù)集的機(jī)器學(xué)習(xí)任務(wù)上，獲得一個(gè)評(píng)價(jià)的時(shí)間代價(jià)巨大。這也影響了優(yōu)化算法在自動(dòng)機(jī)器學(xué)習(xí)問(wèn)題上的效果。所以一些減少評(píng)價(jià)代價(jià)的方法被提出來(lái)，其中多保真度優(yōu)化（multi－fidelity methods）就是其中的一種。這里的技術(shù)包括：基于學(xué)習(xí)曲線來(lái)決定是否要提前終止訓(xùn)練，探索－利用困境（exploration exploitation）的多臂老虎機(jī)算法 （Multi－armed bandit）等等。

另外還有一些研究是基于梯度下降的優(yōu)化。

超參數(shù)優(yōu)化面臨許多挑戰(zhàn)：

對(duì)于大規(guī)模的模型或者復(fù)雜的機(jī)器學(xué)習(xí)流水線而言，需要評(píng)估的空間規(guī)模非常大

配置空間很復(fù)雜

無(wú)法或者很難利用損失函數(shù)的梯度變化

訓(xùn)練集合的規(guī)模太小

很容易過(guò)擬合