為了滿足關鍵的業(yè)務需求，可能需要對AI進行一些調整，但是我們如何知道AI建議是否僅出于業(yè)務需要而不是出于其他原因而被調整呢？

一家公司收到1000個新職位申請，但應該雇用誰？如果將罪犯提早從監(jiān)獄中釋放出來，罪犯有多大可能成為重犯？隨著人工智能（AI）越來越多地進入我們的生活，它可以幫助回答這些問題。但是我們如何管理AI使用的數據集中的偏差呢？

“人工智能的決策是針對我們周圍可用的數據量身定制的，并且在種族，性別，國籍和其他受保護的屬性方面，數據總是存在偏差。當人工智能做出決策時，它會固有地獲得或加強這些偏差，卡內基梅隆大學電氣與計算機工程（ECE）博士生Sanghamitra Dutta說。

杜塔說：“例如，發(fā)現郵政編碼會傳播種族偏見。同樣，如果女性簡歷中包含“女性橄欖球隊”這樣的詞組，那么一種自動化的招聘工具可能會學會降級女性的簡歷。為解決這一問題，已有大量研究在過去十年中開發(fā)的軟件專注于機器學習的公平性并消除AI模型的偏見。

ECE教授Pulkit Grover說：“但是，為了滿足關鍵的業(yè)務需求，可能需要排除AI的某些偏見?！彼cDutta合作，了解如何將AI應用于公平篩選求職者以及其他應用程序中。

“起初，說一些偏見是可以的，甚至在政治上是不正確的，但是在某些情況下，常識表明允許某些偏見是可以接受的。例如，消防員需要抬起受害者并將他們帶出燃燒建筑物。舉重是一項關鍵的工作要求?！备窳_弗說。

在這個例子中，舉起重物的能力可能偏向男性。格羅弗說：“這是一個您可能會有偏見的例子，但可以用對安全性至關重要的業(yè)務需求來解釋?！?/p>

“然后，問題就變成了您如何檢查AI工具是否給出的建議純粹是由于業(yè)務需要而不是其他原因而導致的?！?或者，您如何生成僅因業(yè)務需要而偏向其推薦的新AI算法？這些是與美國關于就業(yè)歧視的法律有關的重要問題。如果雇主可以證明某項功能（例如需要舉起身體）是真正的職業(yè)資格，則該偏見將被法律豁免。（這被稱為“標題VII的業(yè)務必要防御”。）

AI算法已經非常擅長識別數據中的模式。如果不加以限制，由于刻板印象，這種能力可能導致不公平。因此，人工智能工具必須能夠解釋和捍衛(wèi)他們提出的建議。團隊使用其新穎的方法來訓練AI模型，以通過有偏見的數據進行除草，并消除對執(zhí)行工作而言并非至關重要的偏見，同時將那些偏見視為業(yè)務必需。

根據Dutta的說法，在使用其度量和模型時會遇到一些技術挑戰(zhàn)，但是正如團隊所證明的那樣，這些挑戰(zhàn)可以克服。但是，還有一些重要的社會問題需要解決。一個關鍵點是，他們的模型無法自動確定哪些功能對業(yè)務至關重要。Dutta解釋說：“ 為特定應用程序定義關鍵功能不僅僅是一個數學問題，這就是為什么計算機科學家和社會科學家需要合作以擴大AI在道德雇傭實踐中的作用的原因?！?/p>

除Dutta和Grover外，研究小組還由歐洲經委會教授Anupam Datta組成。ECE系統(tǒng)科學家Piotr Mardziel;和博士學位 候選人Praveen Venkatesh。

Dutta在2020年在紐約市舉行的AAAI人工智能大會上，在名為“具有豁免特征的歧視的信息理論量化”的論文中介紹了他們的研究。