為了滿(mǎn)足關(guān)鍵的業(yè)務(wù)需求，可能需要對AI進(jìn)行一些調整，但是我們如何知道AI建議是否僅出于業(yè)務(wù)需要而不是出于其他原因而被調整呢?

一家公司收到1000個(gè)新職位申請，但應該雇用誰(shuí)?如果將罪犯提早從監獄中釋放出來(lái)，罪犯有多大可能成為重犯?隨著(zhù)人工智能(AI)越來(lái)越多地進(jìn)入我們的生活，它可以幫助回答這些問(wèn)題。但是我們如何管理AI使用的數據集中的偏差呢?

“人工智能的決策是針對我們周?chē)捎玫臄祿可矶ㄖ频?，并且在種族，性別，國籍和其他受保護的屬性方面，數據總是存在偏差。當人工智能做出決策時(shí)，它會(huì )固有地獲得或加強這些偏差，卡內基梅隆大學(xué)電氣與計算機工程(ECE)博士生Sanghamitra Dutta說(shuō)。

杜塔說(shuō)：“例如，發(fā)現郵政編碼會(huì )傳播種族偏見(jiàn)。同樣，如果女性簡(jiǎn)歷中包含“女性橄欖球隊”這樣的詞組，那么一種自動(dòng)化的招聘工具可能會(huì )學(xué)會(huì )降級女性的簡(jiǎn)歷。為解決這一問(wèn)題，已有大量研究在過(guò)去十年中開(kāi)發(fā)的軟件專(zhuān)注于機器學(xué)習的公平性并消除AI模型的偏見(jiàn)。

ECE教授Pulkit Grover說(shuō)：“但是，為了滿(mǎn)足關(guān)鍵的業(yè)務(wù)需求，可能需要排除AI的某些偏見(jiàn)。”他與Dutta合作，了解如何將AI應用于公平篩選求職者以及其他應用程序中。

“起初，說(shuō)一些偏見(jiàn)是可以的，甚至在政治上是不正確的，但是在某些情況下，常識表明允許某些偏見(jiàn)是可以接受的。例如，消防員需要抬起受害者并將他們帶出燃燒建筑物。舉重是一項關(guān)鍵的工作要求。”格羅弗說(shuō)。

在這個(gè)例子中，舉起重物的能力可能偏向男性。格羅弗說(shuō)：“這是一個(gè)您可能會(huì )有偏見(jiàn)的例子，但可以用對安全性至關(guān)重要的業(yè)務(wù)需求來(lái)解釋。”

“然后，問(wèn)題就變成了您如何檢查AI工具是否給出的建議純粹是由于業(yè)務(wù)需要而不是其他原因而導致的。” 或者，您如何生成僅因業(yè)務(wù)需要而偏向其推薦的新AI算法?這些是與美國關(guān)于就業(yè)歧視的法律有關(guān)的重要問(wèn)題。如果雇主可以證明某項功能(例如需要舉起身體)是真正的職業(yè)資格，則該偏見(jiàn)將被法律豁免。(這被稱(chēng)為“標題VII的業(yè)務(wù)必要防御”。)

AI算法已經(jīng)非常擅長(cháng)識別數據中的模式。如果不加以限制，由于刻板印象，這種能力可能導致不公平。因此，人工智能工具必須能夠解釋和捍衛他們提出的建議。團隊使用其新穎的方法來(lái)訓練AI模型，以通過(guò)有偏見(jiàn)的數據進(jìn)行除草，并消除對執行工作而言并非至關(guān)重要的偏見(jiàn)，同時(shí)將那些偏見(jiàn)視為業(yè)務(wù)必需。

根據Dutta的說(shuō)法，在使用其度量和模型時(shí)會(huì )遇到一些技術(shù)挑戰，但是正如團隊所證明的那樣，這些挑戰可以克服。但是，還有一些重要的社會(huì )問(wèn)題需要解決。一個(gè)關(guān)鍵點(diǎn)是，他們的模型無(wú)法自動(dòng)確定哪些功能對業(yè)務(wù)至關(guān)重要。Dutta解釋說(shuō)：“ 為特定應用程序定義關(guān)鍵功能不僅僅是一個(gè)數學(xué)問(wèn)題，這就是為什么計算機科學(xué)家和社會(huì )科學(xué)家需要合作以擴大AI在道德雇傭實(shí)踐中的作用的原因。”

除Dutta和Grover外，研究小組還由歐洲經(jīng)委會(huì )教授A(yíng)nupam Datta組成。ECE系統科學(xué)家Piotr Mardziel;和博士學(xué)位 候選人Praveen Venkatesh。

Dutta在2020年在紐約市舉行的AAAI人工智能大會(huì )上，在名為“具有豁免特征的歧視的信息理論量化”的論文中介紹了他們的研究。