人工智能經(jīng)常被提及的挑戰(zhàn)之一是無法獲得關(guān)于人工智能系統(tǒng)如何做出決策的充分理解的解釋。盡管這對于機(jī)器學(xué)習(xí)應(yīng)用程序（例如產(chǎn)品推薦或個性化方案）而言可能不是挑戰(zhàn)，但在需要理解決策的關(guān)鍵應(yīng)用程序中使用AI都會面臨透明性和可解釋性問題。

在最近的AI Today播客中，斯坦福大學(xué)計(jì)算機(jī)科學(xué)系戰(zhàn)略研究計(jì)劃主任Steve Eglash分享了有關(guān)透明和負(fù)責(zé)任的AI演變的見解和研究。Eglash教授是計(jì)算機(jī)科學(xué)系的一名工作人員，他與一小群人一起開展研究計(jì)劃，與大學(xué)以外的公司合作。這個小組幫助公司與學(xué)生共享觀點(diǎn)和技術(shù)，學(xué)生與公司共享技術(shù)。在加入斯坦福大學(xué)之前，史蒂夫是一名電氣工程師。在這個職位上，他介于技術(shù)和科學(xué)之間。在他最終進(jìn)入學(xué)術(shù)界之前，他還從事過投資，政府，研究工作。

隨著AI在每個行業(yè)和政府中得到廣泛使用，深入了解AI使用的機(jī)會為斯坦福大學(xué)的學(xué)生提供了許多探索新領(lǐng)域的機(jī)會。充分了解人工智能的工作原理至關(guān)重要，因?yàn)槲覀冊絹碓揭蕾嚾斯ぶ悄軄韴?zhí)行各種任務(wù)，例如自動駕駛汽車。在這些情況下，錯誤可能是致命的或?qū)е聡?yán)重的傷害或傷害。因此，更深入地研究透明和可解釋的AI系統(tǒng)可以使這些系統(tǒng)更加值得信賴和可靠。確保自動駕駛汽車等AI技術(shù)的安全至關(guān)重要。我們需要確保AI能夠安全運(yùn)行。因此，我們需要能夠理解計(jì)算機(jī)做出決策的方式和原因。與此同時，

許多現(xiàn)代的AI系統(tǒng)都在神經(jīng)網(wǎng)絡(luò)上運(yùn)行，而我們僅了解其基礎(chǔ)知識，因?yàn)?a target="_blank">算法本身很少提供解釋方式。缺乏解釋性通常被稱為AI系統(tǒng)的“黑匣子”。研究人員將注意力集中在神經(jīng)網(wǎng)絡(luò)如何工作的細(xì)節(jié)上。由于神經(jīng)網(wǎng)絡(luò)的規(guī)模，很難檢查它們的錯誤。神經(jīng)元及其權(quán)重之間的每個連接都增加了復(fù)雜性，使事后檢查決策變得非常困難。

Reluplex-透明AI的一種方法

驗(yàn)證是證明神經(jīng)網(wǎng)絡(luò)特性的過程。Reluplex是最近由許多人設(shè)計(jì)的一種程序，用于測試大型神經(jīng)網(wǎng)絡(luò)。Reluplex背后的技術(shù)使其能夠在大型神經(jīng)網(wǎng)絡(luò)中快速運(yùn)行。Reluplex被用于測試自主無人機(jī)的機(jī)載碰撞檢測和回避系統(tǒng)。使用該程序時，該程序能夠證明網(wǎng)絡(luò)的某些部分可以正常工作。但是，它也能夠找到網(wǎng)絡(luò)中的錯誤，該錯誤可以在下一個實(shí)現(xiàn)中修復(fù)。

關(guān)于黑匣子的想法，可解釋性是史蒂夫提出的另一個領(lǐng)域。如果您有大型模型，是否可以了解模型如何進(jìn)行預(yù)測？他以圖像識別系統(tǒng)為例，試圖了解海灘上狗的照片。它可以通過兩種方式識別狗。AI可以拍攝組成狗的像素并將其與狗關(guān)聯(lián)。另一方面，它可能需要圍繞狗的海灘和天空的像素來創(chuàng)建對狗在那里的了解。如果不了解系統(tǒng)是如何做出這些決定的，那么您將不知道網(wǎng)絡(luò)實(shí)際上正在接受什么培訓(xùn)。

如果AI使用第一種方法來了解存在的狗，那么它正在以一種可以模擬我們自己的大腦工作方式的理性方式進(jìn)行思考。但是，替代方法可以視為弱關(guān)聯(lián)，因?yàn)樗灰蕾嚢返膱D片的實(shí)際部分。為了確認(rèn)AI是否正確處理了圖像，我們需要知道它是如何做到的，并且有很大一部分研究正在進(jìn)行此任務(wù)以及與之相似的任務(wù)。

探索數(shù)據(jù)偏差

人工智能系統(tǒng)的數(shù)據(jù)偏差也是斯坦福大學(xué)的重點(diǎn)。根據(jù)用于訓(xùn)練機(jī)器學(xué)習(xí)模型的數(shù)據(jù)，發(fā)現(xiàn)人工智能系統(tǒng)存在相當(dāng)大的偏差。AI用來做決定的數(shù)據(jù)通常會導(dǎo)致偏差，因?yàn)橛?jì)算機(jī)沒有進(jìn)行公正分析所需的信息。除了有偏見的數(shù)據(jù)問題之外，系統(tǒng)本身也可以通過僅考慮特定的組而使決策偏向偏見。當(dāng)您訓(xùn)練機(jī)器學(xué)習(xí)模型以傾向于較大的數(shù)據(jù)組時，它很可能會偏向那些較大的組。

我們需要消除AI系統(tǒng)與人之間的互動越來越多的偏見。人工智能現(xiàn)在正在為人類做出決策，例如保險資格，人員再次犯罪的可能性以及其他可能改變生活的決策。人工智能做出的決定具有現(xiàn)實(shí)世界的后果，我們不希望計(jì)算機(jī)使不平等和不公正現(xiàn)象長期存在。

為了消除AI的偏見，數(shù)據(jù)科學(xué)家需要分析AI并根據(jù)社會偏見做出決策。至此，Percy Liang教授正在與他的學(xué)生們一起創(chuàng)造強(qiáng)大的分布優(yōu)化，旨在擺脫人口統(tǒng)計(jì)學(xué)的影響，朝著機(jī)器的力量集中于所有人群的方向發(fā)展。其他研究人員正在致力于關(guān)注人工智能的公平與平等。

由于AI系統(tǒng)尚未證明其可解釋性和完全的可信賴性，因此Steve認(rèn)為AI將主要以增強(qiáng)和輔助方式使用，而不是完全獨(dú)立。通過使人員處于循環(huán)中，我們可以更好地進(jìn)行更改，以便在系統(tǒng)做出有問題的決策時保持警惕，并對AI輔助操作的最終結(jié)果施加更多控制。