今天的人工智能系統(tǒng)在貸款、醫(yī)療診斷和假釋等方面的決策中扮演了重要角色。而由于它們也是不透明的系統(tǒng)，所以使得它們?nèi)菀资艿狡�見影響。在缺乏透明度的情況下，我們永遠(yuǎn)不會(huì)知道為什么一名41歲的白人男性和一名18歲的黑人女性犯下類似的罪行，會(huì)被AI軟件分別評(píng)估為“低風(fēng)險(xiǎn)”與“高風(fēng)險(xiǎn)”。

出于商業(yè)和技術(shù)原因，目前無法對(duì)大多數(shù)人工智能決策進(jìn)行自動(dòng)生成的高保真解釋。這就是為什么我們應(yīng)該推動(dòng)負(fù)責(zé)高風(fēng)險(xiǎn)決策的AI系統(tǒng)的外部審計(jì)。大規(guī)模的自動(dòng)審計(jì)可以系統(tǒng)地探測(cè)AI系統(tǒng)，并發(fā)現(xiàn)偏見或其他不良行為模式。

最臭名昭著的黑匣子AI偏見例子是美國(guó)司法系統(tǒng)中使用的軟件，該軟件用于推薦量刑和罰款數(shù)額等。ProPublica對(duì)用于假釋決策的、最廣泛使用的再犯算法之一的分析揭示了潛在的重大偏見和不準(zhǔn)確性。在探測(cè)更多信息時(shí)，創(chuàng)建者拒絕分享其專有算法的細(xì)節(jié)。這種保密使被告難以在法庭上質(zhì)疑這些決定。

其實(shí)媒體也報(bào)道了在其他許多情況下存在的人工智能偏見，比如一個(gè)令人畏懼的機(jī)器人，告訴亞洲人在護(hù)照取證時(shí)“睜開眼睛”；比如面部識(shí)別系統(tǒng)在識(shí)別黑皮膚和女性面孔方面不太準(zhǔn)確；比如人工智能招聘工具歧視女性等。

作為回應(yīng)，監(jiān)管機(jī)構(gòu)試圖通過所謂的“可解釋人工智能”來強(qiáng)制實(shí)現(xiàn)透明度。例如，在美國(guó)，拒絕個(gè)人貸款申請(qǐng)的貸方必須為不利決定提供“具體原因”。在歐盟，GDPR要求所有高風(fēng)險(xiǎn)自動(dòng)決策的“解釋權(quán)”。

不幸的是，可解釋AI的挑戰(zhàn)是艱巨的。首先，解釋可以揭露專有數(shù)據(jù)和商業(yè)秘密。解釋在大數(shù)據(jù)集上訓(xùn)練的復(fù)雜非線性神經(jīng)網(wǎng)絡(luò)模型的行為也非常困難。我們?nèi)绾谓忉審臄?shù)千個(gè)輸入的加權(quán)非線性組合得出的結(jié)論，每個(gè)輸入都為整體判斷提供了微觀的百分點(diǎn)？因此，我們通常會(huì)在自動(dòng)解釋AI決策時(shí)在保真度和準(zhǔn)確度之間進(jìn)行權(quán)衡。

例如，Netflix試圖根據(jù)你之前觀看過的一個(gè)節(jié)目來解釋其推薦算法。實(shí)際上，它的建議基于眾多因素和復(fù)雜算法。盡管Netflix建議背后的簡(jiǎn)化說明是無害的，但在高風(fēng)險(xiǎn)情況下，這種過度簡(jiǎn)化可能是危險(xiǎn)的。

即使是簡(jiǎn)單的預(yù)測(cè)模型也可能表現(xiàn)出違反直覺的行為。AI模型容易受到稱為辛普森悖論的普遍現(xiàn)象的影響，其中行為由潛在的未觀察變量所驅(qū)動(dòng)。在最近的一個(gè)案例中，研究人員發(fā)現(xiàn)，哮喘病史會(huì)降低患者肺炎死亡的風(fēng)險(xiǎn)。對(duì)于醫(yī)療保健從業(yè)者和哮喘患者來說，這種天真的解釋會(huì)產(chǎn)生誤導(dǎo)。實(shí)際上，這一發(fā)現(xiàn)歸因于那些有哮喘病史的人更有可能立即得到護(hù)理。

這不是一個(gè)孤立的事件，這些錯(cuò)誤的結(jié)論不能用更多的數(shù)據(jù)輕易解決。盡管我們付出了最大的努力，但人工智能的解釋仍然很難理解。

為了提高透明度，我們倡導(dǎo)可審計(jì)的人工智能，這是一種可以通過假設(shè)案例進(jìn)行外部查詢的人工智能系統(tǒng)。這些假設(shè)情況可以是合成的也可以是真實(shí)的——允許對(duì)模型進(jìn)行自動(dòng)、即時(shí)、細(xì)粒度的詢問。這是監(jiān)控AI系統(tǒng)偏見或脆弱跡象的簡(jiǎn)單方法：如果我們改變被告的性別會(huì)怎樣？如果貸款申請(qǐng)人居住在歷史上的少數(shù)民族社區(qū)，會(huì)發(fā)生什么？

與可解釋的AI相比，可審計(jì)的AI有幾個(gè)優(yōu)點(diǎn)。讓中立的第三方調(diào)查這些問題比使用算法創(chuàng)建者控制的解釋更好地檢查偏見。其次，這意味著軟件的生產(chǎn)者不必暴露其專有系統(tǒng)和數(shù)據(jù)集的商業(yè)秘密。因此，人工智能審計(jì)可能會(huì)面臨較小的阻力。

審計(jì)是對(duì)解釋的補(bǔ)充。事實(shí)上，審計(jì)可以幫助調(diào)查和驗(yàn)證（或無效）AI解釋。比如Netflix推薦《陰陽魔界》，因?yàn)槲铱催^《怪奇物語》。它還會(huì)推薦其他科幻小說恐怖節(jié)目嗎？它是否向所有觀看過《怪奇物語》的人推薦《陰陽魔界》？

可審計(jì)人工智能的早期用例已經(jīng)產(chǎn)生了積極的影響。ACLU最近透露，亞馬遜可審計(jì)面部識(shí)別算法的準(zhǔn)確度幾乎是錯(cuò)誤識(shí)別的兩倍。越來越多的證據(jù)表明，公共審計(jì)可以提高代表性不足群體的模型準(zhǔn)確性。

在未來，我們可以設(shè)想一個(gè)強(qiáng)大的審計(jì)生態(tài)系統(tǒng)，提供對(duì)AI的見解。我們甚至可以想象“AI監(jiān)護(hù)人”，一個(gè)基于審計(jì)建立AI系統(tǒng)的外部模型。監(jiān)管機(jī)構(gòu)可以堅(jiān)持要求用于高風(fēng)險(xiǎn)決策的AI系統(tǒng)提供審計(jì)接口，而不是要求AI系統(tǒng)提供低保真度的解釋。

可審計(jì)的AI不是靈丹妙藥。如果AI系統(tǒng)正在進(jìn)行癌癥診斷，患者仍然需要準(zhǔn)確且易于理解的解釋，而不僅僅是審計(jì)。這些解釋是正在進(jìn)行的研究主題，并且有望在不久的將來為商業(yè)用途做好準(zhǔn)備。但與此同時(shí)，可審計(jì)的人工智能可以提高透明度，并打擊偏見。