多倫多大學應用科學與工程學院四年級學生Deb Raji和麻省理工學院的研究人員進行的一項研究強調了面部識別服務中存在的種族和性別偏見。

Raji于2018年夏天在麻省理工學院媒體實驗室實習，在那里她對微軟，IBM和亞馬遜等領先公司生產的商業面部識別技術進行了審核。研究人員發現，他們所有人都有將膚色較黑的女性誤認為男性的趨勢。

但其中一項服務，尤其是亞馬遜的Rekognition，表現出比其他服務更高的偏見水平。盡管它可以以近100%的準確度識別淺膚色男性的性別，但29%的女性將男性分類為男性，而淺膚色的男性31%的女性為男性。

Rekognition最近由佛羅里達州奧蘭多市的進行了試點，將該服務用于治安場景，例如在相機上掃描面部并將其與數據庫中的面部進行匹配。

拉吉說：“該技術不能很好地描述黑人面孔的事實可能導致對嫌疑人的錯誤識別。” “考慮到亞馬遜正在使用這項技術的高風險場景，亞馬遜應承受一些公眾壓力。”

隨著人工智能(AI)產品的快速發展和部署，這項新研究強調不僅需要測試系統的性能，還需要測試針對代表性不足的群體的潛在偏見。

盡管算法應該是中立的，但Raji解釋說，由于數據集(用于“訓練” AI模型的信息”來自仍在應對日常偏差的社會中，這些偏差已嵌入算法中)。

拉吉說：“我想舉例說明健康皮膚的外觀。如果立即使用Google進行搜索，您將看到皮膚白皙的女性。” “在真正向下滾動之前，您將看不到男人，也不會看到膚色黝黑的女人。如果將其輸入AI模型，它將采用這種世界觀并根據這些偏見來調整決策。”

拉吉說，應該消除這些偏見，就像要追究一個人的責任一樣。她說：“將偏見嵌入算法時，而不是人們做出有偏見的決定時，危險就增加了。有人會告訴你這是錯的，無論是公眾還是老板。”

“有了人工智能，我們往往會免除這一責任。沒有人會把算法放進監獄。”

的Raji對主題的熱情偏置在機器學習來自于她的時間在AI啟動Clarifai，其中AI和道德的話題在注重研究的是經常討論一個職業經歷為期一年的帶薪實習(PEY的Co-op)學生公司。

她說：“這是該公司注意到的，并且在解決方面非常明確，這是一個引起我個人共鳴的主題，因為我是一個可見的少數派。”

這也源于她自己對種族偏見技術的親身經歷。她說：“我會在黑客馬拉松上建造一些東西，想知道為什么它不能檢測到我的臉，或者為什么自動水龍頭不能檢測到我的手。”

Raji在麻省理工學院媒體實驗室與計算機科學家和數字活動家Joy Buolamwini分享了她的經驗。這導致了實習，并使Raji成為她在人工智能進步協會AI倫理與社會會議上發表的論文的主要作者。

拉吉說：“我知道我好像在三個月內寫了一篇研究論文。” “但是這個問題已經在我體內滲透了很長時間了。”

Raji目前正在完成工程科學專業的最后一個學期，并發起了一項由學生主導的計劃，名為Project Include，該計劃培訓學生在多倫多和密西沙加的低收入社區教授計算機編程。她還是Google AI的實習生。作為指導計劃的一部分，她正在撰寫新論文，重點是使公司承擔責任的實際解決方案。

拉吉說：“人們有時會輕描淡寫地說：'嗯，人工智能才剛剛開始。' “但是，如果您要架起一座橋梁，該行業是否可以讓您偷工減料并提供這些借口?”