四、深度學習：機器學習的更高智能進階

1．深度學習的背景

2006年，加拿大多倫多大學教授、機器學習領域的泰斗Geoffrey Hinton和學生Salakhutdinov在Science上發(fā)表文章 《Reducing the Dimensionalitg of Data with Neural Neworks》，這篇文章有兩個主要觀點：1）多隱層神經網絡有更厲害的學習能力，可以表達更多特征來描述對象；2）訓練深度神經網絡時，可通過降維（pre－training）來實現，老教授設計出來的Autoencoder網絡能夠快速找到好的全局最優(yōu)點，采用無監(jiān)督的方法先分開對每層網絡進行訓練，然后再來微調。該文章的發(fā)表翻開了深度學習的新篇章。2013年4月，深度學習技術被《麻省理工學院技術評論》（MIT TechnologyReview）雜志列為2013年十大突破性技術（Breakthrough Technology） 之首。與淺層學習模型依賴人工經驗不同，深層學習模型通過構建機器學習模型和海量的訓練數據，來學習更有用的特征，從而最終提升分類或預測的準確性。

圖34  深度學習的發(fā)展歷程

2．深度學習的定義

深度學習是機器學習研究領域的分支，隸屬于神經網絡體系。深度學習通過建立、模擬人腦的信息處理神經結構來實現對外部輸入的數據進行從低級到高級的特征提取，從而能夠使機器理解學習數據，獲得信息，因具有多個隱藏層的神經網絡又被稱為深度神經網絡。深度學習將數據輸入系統后，通過建模及模擬人腦的神經網從而進行學習的技術，像生物神經元一樣，神經網絡系統中有系列分層排列的模擬神經元（信息傳遞的連接點），且經過每個神經元的響應函數都會分配一個相應的“權值”，表示彼此之間的連接強度。通過每層神經元相互“連接”，計算機就可以由達到最佳方案時所有神經元的加權和，從而可以實現這一決策方案。

3．深度學習的基礎和實現

①深度學習的思想基礎一誤差逆?zhèn)鞑ニ惴ǎ˙P算法）

BP神經網絡（如圖35） 是1986年Rumelhart和McClelland等人提出的，是一種按誤差逆?zhèn)鞑ニ惴ㄓ柧毜亩鄬忧梆伾窠浘W絡，它存儲大量映射模式關系，無需揭示其映射方程。BP算法的核心思想是采用最速下降法（梯度下降法），通過反向傳播調試網絡的權值和閾值，使得其誤差平方和最小。

圖35 BP神經網絡

②圖像處理領域的里程碑一卷積神經網絡（CNN）

20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經元時發(fā)現網絡結構可以降低反饋神經網絡的復雜性，進而提出了卷積神經網絡的概念。由于其避免了對圖像的前期預處理，可以直接輸入原始圖像，CNN已經成為神經網絡的標志性代表之一。

圖36  卷積神經網絡（CNN）

③深度神經網絡的實現基礎一玻爾茲曼機和受限玻爾茲曼機

玻爾茲曼機 是Hinton和Sejnowski提出的隨機遞歸神經網絡，也可以看做是隨機的Hopfield網絡，因樣本分布遵循玻爾茲曼分布而命名為BM。

圖37  玻爾茲曼機

4．深度學習的重大成就

利用機器學習，人工智能系統獲得了歸納推理和決策能力；而深度學習更將這一能力推向了更高的層次。目前，在深度學習中，卷積神經網絡（Convolutional Neural Network，簡稱CNN）作為最有效的深層神經網絡，現在已經被越來越多地應用到許多智能領域之中，并且它們越來越像人類了，例如AlphaGo、SIRI和FACEBOOK等都應用了卷積神經網絡。在中國目前非常關注的智能制造領域中，制造機器人是深度學習的經典案例，深度學習的機器人能夠自動適應外部環(huán)境的變化，面對新型任務時可以自動重新調整算法和技術，

5．深度學習的發(fā)展展望

深度學習必將成為人工智能發(fā)展的核心驅動力。雖然深度學習在實際應用中取得了許多成就，但是仍有局限性：理論研究缺乏、無監(jiān)督學習能力弱、缺少邏輯推理和記憶能力等。深度學習的研究多是基于實驗訓練進行的，但是對其內部原理，學習本質研究很少�，F在的研究多是在網絡架構、參數選擇等方面，而且深度學習的還有進一步提升空間，也需要更加完備深入的理論支撐其發(fā)展。

目前主流應用還是以監(jiān)督學習為主的，但在實際生活中，無標簽未知的數據占主體，所以更應該應用可以發(fā)現事物內在關系的無監(jiān)督學習，未來還有更廣闊的發(fā)展空間。深度學習是人工智能發(fā)展的巨大推力，目前階段中深度學習更側重于處理數據，在面對更復雜的任務時，則需要更多記憶能力和邏輯推理能力。

五：機器學習的未來：挑戰(zhàn)與機遇并存

機器學習是人工智能應用的又一重要研究領域。當今，盡管在機器學習領域已經取得重大技術進展，但就目前機器學習發(fā)展現狀而言，自主學習能力還十分有限，還不具備類似人那樣的學習能力，同時機器學習的發(fā)展也面臨著巨大的挑戰(zhàn)，諸如泛化能力、速度、可理解性以及數據利用能力等技術性難關必須克服。但令人可喜的是，在某些復雜的類人神經分析算法的開發(fā)領域，計算機專家已經取得了很大進展，人們已經可以開發(fā)出許多自主性的算法和模型讓機器展現出高效的學習能力。對機器學習的進一步深入研究，勢必推動人工智能技術的深化應用與發(fā)展。