由于AI算法內(nèi)部的運(yùn)作往往是不透明的，AI的黑箱問題和可解釋性問題越來越受到關(guān)注?！都~約時報》和《連線》最近的兩篇文章認(rèn)為，AI的黑箱并沒有那么可怕，我們不需要要求算法必須透明，甚至為了可解釋性犧牲AI系統(tǒng)的能力，相反，將其視為一個優(yōu)化問題更可行。

AI算法對人類生活的影響越來越大，但它們內(nèi)部的運(yùn)作往往是不透明的，人們對這種技術(shù)的工作方式也愈加感到擔(dān)憂。MIT科技評論曾經(jīng)發(fā)表一篇題為“人工智能中的黑暗秘密”的文章，警告說：“沒有人真正知道先進(jìn)的機(jī)器學(xué)習(xí)算法是怎樣工作的，而這恐將成為一大隱憂。”由于這種不確定性和缺乏問責(zé)制，紐約大學(xué)AI Now Institute的一份報告建議負(fù)責(zé)刑事司法、醫(yī)療保健、社會福利和教育的公共機(jī)構(gòu)不應(yīng)該使用AI技術(shù)。

輸入的數(shù)據(jù)和答案之間的不可觀察的空間通常被稱為“黑箱”（black box）——名稱來自飛機(jī)上強(qiáng)制使用的飛行記錄儀“黑匣子”（實(shí)際上是橙色的，而非黑色），并且經(jīng)常在空難事故后用于向調(diào)查人員提供有關(guān)飛機(jī)當(dāng)時運(yùn)作情況的數(shù)據(jù)。在人工智能領(lǐng)域，這個術(shù)語描述了AI技術(shù)如何在“暗處”運(yùn)作的景象：我們提供數(shù)據(jù)、模型和架構(gòu)，然后計算機(jī)給出答案，同時以一種看似不可能的方式繼續(xù)學(xué)習(xí)——顯然對于我們?nèi)祟悂碚f，這太難理解了。

黑箱沒有什么可怕的

在醫(yī)療領(lǐng)域，這個問題尤其被關(guān)注。AI被用于區(qū)分哪些皮膚病變是癌變，從血液中識別早期癌癥，預(yù)測心臟疾病，確定人和動物的哪些化合物可以延長壽命，等等。但是，對黑箱的這些擔(dān)憂是不必要的。AI的透明程度并不亞于醫(yī)生一直以來的工作方式——在許多情況下，AI甚至是一種進(jìn)步，它增強(qiáng)了醫(yī)院的能力，對病人和整個醫(yī)療系統(tǒng)都有積極的作用。畢竟，對于新技術(shù)來說，AI的黑箱問題并不是一個新問題：人類智能本身就是一個黑箱，而且一直都是。

讓我們來看一個人類醫(yī)生做診斷的例子。病人可能會問醫(yī)生她是如何做出診斷的，醫(yī)生可能會說出一些她用來得出結(jié)論的數(shù)據(jù)。但她真的能夠解釋她是如何、以及為什么得出這個結(jié)論嗎,她從哪些研究中得到哪些具體數(shù)據(jù),她從所受的教育或?qū)熌抢锏玫搅耸裁从绊?她從自己以及同事的共同經(jīng)驗(yàn)中得到哪些隱性知識，以及所有這些的結(jié)合如何引導(dǎo)她得出那個診斷?當(dāng)然，她可能會說出引領(lǐng)她往某個特定方向走的某些指示，但這也會有猜測的成分，有跟隨直覺的成分。即使沒有，我們也仍然不知道有沒有什么其他因素是她自己甚至沒有意識到的。

如果使用AI進(jìn)行同樣的診斷，我們可以從該患者的所有可用信息中獲取數(shù)據(jù)，以及在不同時間和從其他無數(shù)同類患者身上匿名收集的數(shù)據(jù)，用以做出最有力的基于證據(jù)的決策。這是一種與數(shù)據(jù)直接相關(guān)的診斷，而不是基于有限數(shù)據(jù)的人類直覺，或者相對少的局部患者的診斷經(jīng)驗(yàn)總結(jié)。

但是，我們每天都必須在很多我們并不完全了解的領(lǐng)域做決策——并且通常都非常成功——從預(yù)測政策對經(jīng)濟(jì)的影響到天氣預(yù)報，再到我們最初接觸大部分科學(xué)的方式。我們要么認(rèn)為這些決策非常簡單，要么接受它們過于復(fù)雜以至我們無法解決，更不用說完全解釋它們了。這就像AI的黑箱：人類的智慧能夠針對一個給出的結(jié)論進(jìn)行推理和論證，但無法解釋我們得出一個特定結(jié)論的復(fù)雜、隱含的過程。試想一下一對夫妻因某個明確的原因（例如，不忠）而離婚這個問題——在現(xiàn)實(shí)中，有許多完全看不見的、錯綜復(fù)雜的原因、影響和事件共同促成了這一結(jié)果。為什么這一對夫婦選擇分手，而另一對類似情況的夫婦卻沒有?即使是處于這些關(guān)系中的人也無法完全解釋這個問題。這是一個黑箱。

AI的黑箱更多是一個特征，而不是一個bug

具有諷刺意味的是，與人類智能相比，人工智能實(shí)際上更加透明。與人類的思維不同，人工智能可以——也應(yīng)該——被審問和被解釋。例如檢查和改進(jìn)模型的能力，揭示深度神經(jīng)網(wǎng)絡(luò)中的知識差距，必須要構(gòu)建的調(diào)試工具，以及通過腦機(jī)接口增強(qiáng)人類只能的潛在能力，等等，有許多技術(shù)可以幫助解釋人工智能，而這些解釋AI的方式無法用于解釋人腦。在這個過程中，我們甚至可以更多地了解人類智能的運(yùn)作方式。

也許批評者們擔(dān)憂的真正原因不是我們無法“看到”AI的推理過程，而是當(dāng)AI變得愈加強(qiáng)大時，人類的心智就變成了限制因素。他們擔(dān)心的是，在未來，我們需要利用AI去理解AI。在醫(yī)療領(lǐng)域以及其他領(lǐng)域，這意味著我們很快就會看到一個新類別的專業(yè)人士的出現(xiàn)，他們自己不必去做即時的決策，而是管理一個AI工人去做決策——就像商用飛機(jī)的駕駛員在惡劣的天氣條件下使用自動駕駛儀降落一樣。醫(yī)生將不再“主導(dǎo)”初始診斷；相反，他們需要確保AI系統(tǒng)對患者的診斷是相關(guān)的和易于理解的，并監(jiān)督AI在何時以及如何提供更多的說明和解釋。未來的醫(yī)生辦公室很可能有多名計算機(jī)助理，包括醫(yī)生方面的和病人方面的，以及來自外部的數(shù)據(jù)輸入。

當(dāng)這種情況成為現(xiàn)實(shí)時，顯然，所謂的人工智能“黑箱”將更多是一種特征，而不是一個bug——因?yàn)樗啾热祟惖拇竽X更能夠理解和解釋決策的過程。這并沒有否定或忽視對AI進(jìn)行監(jiān)督的需求，只是說與其擔(dān)心黑箱，我們更應(yīng)該關(guān)注機(jī)會，從而更好地應(yīng)對這樣一個未來：AI不僅增強(qiáng)人類智能和人類直覺，而且甚至可以啟發(fā)人之本質(zhì)。

不要為了可解釋性犧牲AI的能力

當(dāng)前的AI系統(tǒng)可能會發(fā)生一些故障，例如使自動駕駛汽車遭遇事故，或在用于司法時對黑人判處相比白人更長的刑期。我們會知道這些，是因?yàn)锳I已經(jīng)在這些方面出現(xiàn)了錯誤。但是，這并不意味著我們應(yīng)該堅(jiān)持AI需要解釋它在任何情況下如何做決策，包括歐盟的“一般數(shù)據(jù)保護(hù)條例”（GDPR）也如此要求。

要求可解釋性聽起來不錯，但實(shí)現(xiàn)它可能需要讓AI人為地變蠢。機(jī)器學(xué)習(xí)有如此強(qiáng)大的使用前景，縮減AI的能力可能意味著無法診斷疾病、無法發(fā)現(xiàn)氣候變化的重要原因，等等。充分利用機(jī)器學(xué)習(xí)的能力意味著必須依賴那些現(xiàn)在無法向人類大腦解釋的結(jié)果。

機(jī)器學(xué)習(xí)，特別是深度學(xué)習(xí)，可以將數(shù)據(jù)分析成數(shù)以千計的變量，將它們排列成非常復(fù)雜而敏感的加權(quán)關(guān)系數(shù)組，然后通過基于計算機(jī)的神經(jīng)網(wǎng)絡(luò)反復(fù)運(yùn)行這些數(shù)組。要想理解這些運(yùn)行的結(jié)果，例如為什么系統(tǒng)認(rèn)為有73％的幾率患上糖尿病，或者在象棋中走這步棋有84％的幾率能導(dǎo)致最終勝利，這就需要理解這些成千上萬的變量之間的關(guān)系，這些變量是通過大量的神經(jīng)網(wǎng)絡(luò)計算得出的。我們的大腦根本無法掌握這么多的信息。

可解釋性是工具：我們用這些工具來達(dá)成目標(biāo)。通過機(jī)器學(xué)習(xí)，可解釋性能夠幫助開發(fā)人員debug?？山忉屝砸部梢杂脕砼袛嘁粋€結(jié)果是否基于不應(yīng)該計數(shù)的因素（例如性別，種族等，取決于具體情況）來評估責(zé)任。但是，我們可以通過其他方法來實(shí)現(xiàn)預(yù)期的效果，而不用約束機(jī)器學(xué)習(xí)系統(tǒng)的能力。

一個很有前景的工具是優(yōu)化（optimization）。例如，在20世紀(jì)70年代石油危機(jī)期間，美國政府決定將限速降至55英里/時，從而優(yōu)化高速公路。同樣，政府也可以決定對自動駕駛汽車進(jìn)行優(yōu)化。

AI系統(tǒng)需要對針對某個目的的優(yōu)化及其結(jié)果保持透明，特別是對我們希望它們支持的一些關(guān)鍵值保持透明。但是不一定要求算法是透明的。如果一個系統(tǒng)沒有達(dá)到它的目標(biāo)，就需要對它進(jìn)行調(diào)優(yōu)。如果達(dá)到了目標(biāo)，可解釋性就不是必要的。

通過將AI的可解釋性問題視為優(yōu)化問題，我們可以將爭論集中在真正重要的問題上：我們想從一個系統(tǒng)中得到什么，我們愿意放棄什么來得到它？