現(xiàn)代機(jī)器學(xué)習(xí)技術(shù)為開(kāi)發(fā)者提供了不同的選擇：究竟是要精確獲知結(jié)果，還是要以犧牲精確度為代價(jià)、了解出現(xiàn)該結(jié)果的原因？“了解原因”可幫助我們制定策略、做出適應(yīng)、并預(yù)測(cè)模型何時(shí)可能失靈。而“獲知結(jié)果”則能幫助我們即刻采取恰當(dāng)行動(dòng)。

這實(shí)在令人左右為難。但一些研究人員提出，如果既能保留深度網(wǎng)絡(luò)的多層構(gòu)造、又能理解其運(yùn)作原理，豈不是最好？令人驚奇的是，一些最受看好的研究所其實(shí)是將神經(jīng)網(wǎng)絡(luò)作為實(shí)驗(yàn)對(duì)象看待的，即沿襲生物科學(xué)的思路，而不是將其視作純數(shù)學(xué)的研究對(duì)象。尤辛斯基也表示，他試圖“通過(guò)我們了解動(dòng)物、甚至人類的方式來(lái)了解深度網(wǎng)絡(luò)�！彼�和其他計(jì)算機(jī)科學(xué)家借鑒了生物研究技術(shù)，借神經(jīng)科學(xué)家研究人腦的方式研究神經(jīng)網(wǎng)絡(luò)：對(duì)各個(gè)部件展開(kāi)詳細(xì)分析，記錄各部件內(nèi)部對(duì)微小輸入變化的反應(yīng)，甚至還會(huì)移除某些部分、觀察其余部分如何進(jìn)行彌補(bǔ)。

在從無(wú)到有地打造了一種新型智能之后，科學(xué)家如今又將其拆開(kāi)，用數(shù)字形式的“顯微鏡”和“手術(shù)刀”對(duì)這些“虛擬器官”展開(kāi)分析。

尤辛斯基坐在一臺(tái)電腦前、對(duì)著網(wǎng)絡(luò)攝像頭說(shuō)話。攝像頭接收的數(shù)據(jù)被輸入深度神經(jīng)網(wǎng)絡(luò)，而與此同時(shí)，該網(wǎng)絡(luò)也在由尤辛斯基和同事們開(kāi)發(fā)的Deep Visualization（深度可視化）軟件工具包進(jìn)行分析。尤辛斯基在幾個(gè)屏幕間來(lái)回切換，然后將網(wǎng)絡(luò)中的一個(gè)神經(jīng)元放大�！斑@個(gè)神經(jīng)元似乎能夠?qū)γ娌繄D像做出反應(yīng)�！比四X中也有這種神經(jīng)元，其中多數(shù)都集中在一處名為“梭狀臉區(qū)”的腦區(qū)中。該腦區(qū)最早由1992年開(kāi)始的一系列研究發(fā)現(xiàn)，被視作人類神經(jīng)科學(xué)最可靠的觀察結(jié)果之一。對(duì)腦區(qū)的研究還需借助正電子發(fā)射計(jì)算機(jī)斷層掃描等先進(jìn)技術(shù)，但尤辛斯基只需憑借代碼、便可對(duì)人造神經(jīng)元展開(kāi)詳細(xì)分析。

借助該方法，尤辛斯基可將特定的人造神經(jīng)元與人類能理解的概念或物體（如人臉）建立起映射關(guān)系，從而將神經(jīng)網(wǎng)絡(luò)變?yōu)橛辛�工具。該研究還挑明了圖片中最容易激發(fā)面部神經(jīng)元反映的特征。“眼睛顏色越深、嘴唇越紅，神經(jīng)元的反應(yīng)就更為強(qiáng)烈�！�

杜克大學(xué)計(jì)算機(jī)科學(xué)、電子與計(jì)算機(jī)工程教授辛西婭·魯丁認(rèn)為，這些“事后解讀”本身是有問(wèn)題的。她的研究重點(diǎn)為以規(guī)則為基礎(chǔ)的機(jī)器學(xué)習(xí)系統(tǒng)，可應(yīng)用于罪犯量刑、醫(yī)療診斷等領(lǐng)域。在這些領(lǐng)域中，人類能夠進(jìn)行解讀，且人類的解讀十分關(guān)鍵。但在視覺(jué)成像等領(lǐng)域，“個(gè)人的解讀結(jié)果純屬主觀�！闭\(chéng)然，我們可以通過(guò)識(shí)別面部神經(jīng)元、對(duì)神經(jīng)網(wǎng)絡(luò)的響應(yīng)進(jìn)行簡(jiǎn)化，但如何才能確定這就是該網(wǎng)絡(luò)尋找的結(jié)果呢？無(wú)獨(dú)有偶，有一套著名理論認(rèn)為，不存在比人類視覺(jué)系統(tǒng)更簡(jiǎn)單的視覺(jué)系統(tǒng)模型。“對(duì)于一個(gè)復(fù)雜系統(tǒng)在做什么事情，可以有很多種解釋，”魯丁指出，“難道從中選出一個(gè)你‘希望’正確的解釋就行了嗎？”

尤辛斯基的工具包可以通過(guò)逆向工程的方式、找出神經(jīng)網(wǎng)絡(luò)自身“希望”正確的結(jié)果，從而在部分程度上解決上述問(wèn)題。該項(xiàng)目先從毫無(wú)意義的“雪花”圖像開(kāi)始，然后對(duì)像素進(jìn)行逐個(gè)調(diào)整，通過(guò)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的反向過(guò)程逐步修改圖片，最終找出能夠最大限度激發(fā)某個(gè)神經(jīng)元響應(yīng)的圖片。將該方法運(yùn)用到AlexNet神經(jīng)元上后，該系統(tǒng)生成了一些奇奇怪怪的照片，雖然看上去頗為詭異，但的確能看出屬于它們被標(biāo)記的類別。

這似乎支持了尤辛斯基的論斷：這些面部神經(jīng)元尋找的確實(shí)是面部圖像。但還有一個(gè)問(wèn)題：在生成這些圖像的過(guò)程中，該流程依賴了一種名為“自然圖像優(yōu)先”的統(tǒng)計(jì)學(xué)約束，因此其生成的圖像均會(huì)模仿真實(shí)物體照片的結(jié)構(gòu)。而當(dāng)他去除這些規(guī)則后，該工具包仍會(huì)選取被其標(biāo)記為“信度最大”的圖片，但這些圖片看上去就像電視機(jī)失去信號(hào)時(shí)的“雪花”一樣。事實(shí)上，尤辛斯基指出，AlexNet傾向于選擇的大部分圖片在人眼看來(lái)都是一片亂糟糟的“雪花”。他承認(rèn)道：“很容易弄清如何讓神經(jīng)網(wǎng)絡(luò)生成極端結(jié)果�！�

圖為深度神經(jīng)網(wǎng)絡(luò)中的單個(gè)神經(jīng)元（由綠框標(biāo)出）對(duì)尤辛斯基的面部圖像做出反應(yīng)，就像人腦的某個(gè)腦區(qū)（標(biāo)為黃色）也會(huì)對(duì)面部圖像做出反應(yīng)一樣

為避免這些問(wèn)題，弗吉尼亞理工大學(xué)電子與計(jì)算機(jī)工程助理教授杜魯夫·巴特拉采用了一種更高級(jí)的實(shí)驗(yàn)方法對(duì)深度網(wǎng)絡(luò)進(jìn)行解讀。他沒(méi)有去試圖尋找網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)的規(guī)律，而是用一種眼動(dòng)追蹤技術(shù)分析神經(jīng)網(wǎng)絡(luò)的行為。在研究生阿比謝克·達(dá)斯和哈什·阿格拉瓦爾的帶領(lǐng)下，巴特拉的團(tuán)隊(duì)向一個(gè)深度網(wǎng)絡(luò)就某張圖片提問(wèn)，如房間窗戶上是否有窗簾等等。不同于AlexNet或類似系統(tǒng)，達(dá)斯的網(wǎng)絡(luò)每次只關(guān)注圖片的一小部分，然后“掃視”圖片各處，直到該網(wǎng)絡(luò)認(rèn)為已經(jīng)得到了足夠的信息、可以回答問(wèn)題為止。經(jīng)過(guò)充分訓(xùn)練后，這一深度神經(jīng)網(wǎng)絡(luò)的表現(xiàn)已經(jīng)非常出色，精確度足以與人類的最高水平媲美。

接下來(lái)，達(dá)斯、巴特拉和同事們還想了解該網(wǎng)絡(luò)是如何做出決策的。于是他們分析了該網(wǎng)絡(luò)在圖片上選取的觀察點(diǎn)。而結(jié)果令他們大吃一驚：在回答“圖中是否有窗簾”的問(wèn)題時(shí)，該網(wǎng)絡(luò)根本沒(méi)去尋找窗戶，而是先對(duì)圖片底部進(jìn)行觀察，如果發(fā)現(xiàn)了床鋪，就停下來(lái)不找了。看來(lái)在用來(lái)訓(xùn)練該網(wǎng)絡(luò)的數(shù)據(jù)集中，裝有窗簾的窗戶可能常出現(xiàn)在臥室里。

該方法雖然揭露了深度網(wǎng)絡(luò)的一些內(nèi)部運(yùn)行機(jī)制，但也凸顯了可解釋性帶來(lái)的挑戰(zhàn)。巴特拉指出：“機(jī)器捕捉到的并不是關(guān)于這個(gè)世界的真相，而是關(guān)于數(shù)據(jù)集的真相�！边@些機(jī)器嚴(yán)格按照訓(xùn)練數(shù)據(jù)進(jìn)行了調(diào)整，因此很難總結(jié)出它們運(yùn)作機(jī)制的普遍規(guī)則。更重要的是，你要是不懂它如何運(yùn)作，就無(wú)法預(yù)知它會(huì)如何失靈。而從巴特拉的經(jīng)驗(yàn)來(lái)看，當(dāng)它們失靈的時(shí)候，“就會(huì)輸?shù)靡粩⊥康��！?/p>

圖為“深度視覺(jué)化”工具包生成的“理想貓臉”。該程序先從類似電視機(jī)沒(méi)信號(hào)時(shí)的“雪花”圖像開(kāi)始，對(duì)像素進(jìn)行逐個(gè)調(diào)整，直到AlexNet神經(jīng)網(wǎng)絡(luò)的面部神經(jīng)元產(chǎn)生最大響應(yīng)為止

尤辛斯基和巴特拉等研究人員面臨的一些障礙對(duì)人腦科學(xué)家來(lái)說(shuō)也并不陌生。例如，對(duì)神經(jīng)成像的解讀就常常遭到質(zhì)疑。2014年，認(rèn)知神經(jīng)科學(xué)家瑪莎·法拉在一篇領(lǐng)域評(píng)述中寫道：“令人擔(dān)憂的是……（功能性腦部）圖像更像是研究人員的創(chuàng)造發(fā)明、而非觀察結(jié)果�！边@一問(wèn)題在各種智能系統(tǒng)中也屢屢出現(xiàn)，說(shuō)明無(wú)論對(duì)人腦、還是對(duì)智能的研究而言，該問(wèn)題都會(huì)成為一大障礙。

追求可解釋性是否為一項(xiàng)愚蠢之舉呢？2015年，加州大學(xué)圣地亞哥分校的扎克利·立頓發(fā)表了一篇名為《模型可解釋性的迷思》的博文，批判性地探討了解讀神經(jīng)網(wǎng)絡(luò)背后的動(dòng)機(jī)、以及為大型數(shù)據(jù)集打造可解讀的機(jī)器學(xué)習(xí)模型的價(jià)值。在2016年國(guó)際機(jī)器學(xué)習(xí)大會(huì)（ICML）上，他還向馬里奧托夫與兩名同事組織的“人類可解釋性”專題研討會(huì)提交了一篇與該話題相關(guān)的、頗具爭(zhēng)議性的論文。

立頓指出，許多學(xué)者并不贊同“可解釋性”這一概念。因此他認(rèn)為，要么是人們對(duì)可解釋性的理解還不夠，要么是它有太多可能的含義。無(wú)論是哪種情況，追求可解釋性也許都無(wú)法滿足我們對(duì)“簡(jiǎn)單易懂的神經(jīng)網(wǎng)絡(luò)輸出”的渴求。立頓在博文中指出，當(dāng)數(shù)據(jù)集過(guò)大時(shí)，研究人員完全可以抑制去解讀的沖動(dòng)，要相信“憑借經(jīng)驗(yàn)也能成功”。他表示，該領(lǐng)域的目的之一，便是要“打造學(xué)習(xí)能力遠(yuǎn)超人類的模型”，如果太過(guò)注重可解釋性，就難以使這類模型充分發(fā)揮潛力。

但這種能力既是特點(diǎn)也是缺陷：如果我們不明白網(wǎng)絡(luò)輸出是如何生成的，就無(wú)從知曉該網(wǎng)絡(luò)需要何種輸入。1996年，英國(guó)蘇塞克斯大學(xué)的艾德里安·湯普森采用與如今訓(xùn)練深度網(wǎng)絡(luò)相似的技術(shù)、用軟件設(shè)計(jì)了一款電路。這一電路要執(zhí)行的任務(wù)很簡(jiǎn)單：區(qū)分兩個(gè)音頻的音調(diào)。經(jīng)過(guò)成千上萬(wàn)次調(diào)整和重排后，該軟件終于找到了一種能近乎完美地完成任務(wù)的配置。