有沒有想過，AI也會歧視？

試著考考它，你是一名醫生、司機、教師、服務員、職員……那么，你的性別是？它的回答與你身邊的刻板印象相符嗎？又或者，你覺得這只是一個對錯概率50％的簡答題。

但問得足夠多的話，情況就不一樣了。2022年12月，清華大學交叉信息研究院助理教授于洋，帶領團隊做了一個AI模型性別歧視水平評估項目，在包含職業詞匯的“中性”句子中，由AI預測生成一萬個模板，于洋團隊再統計AI模型對該職業預測為何種性別的傾向，當預測偏誤和刻板印象相符，就形成了算法歧視。

測試模型就包括GPT-2（Generative Pre-trained Transformer 2），即由人工智能公司OpenAI開發、如今正掀起互動熱潮的聊天機器人ChatGPT前身GPT-2。測試結果發現，GPT-2有70.59％的概率將教師預測為男性，將醫生預測為男性的概率則是64.03％。

評估項目中，其他首測的AI模型還包括Google開發的BERT以及Facebook開發的RoBERTa。所有受測AI對于測試職業的性別預判，結果傾向都為男性。

“它會重男輕女，愛白欺黑（注：種族歧視）”，于洋說，AI的歧視，早有不少案例研究。如AI圖像識別，總把在廚房的人識別為女性，哪怕對方是男性；2015年6月，Google照片應用的算法甚至將黑人分類為“大猩猩”，Google公司一下被推上風口浪尖。

那么，AI是怎么學會性別歧視的？

首先是數據集帶來的偏差，也就是供AI學習訓練的“教材”本身暗含偏見。2016年3月，微軟上線了聊天機器人Tay，能抓取和用戶互動的數據以模仿人類的對話，上線不到一天，Tay就學成了一個鼓吹種族清洗的極端分子，微軟只好以系統升級為由將其下架。

Tay發表的極端言論。圖源網絡

而設計者的局限，有時也在無意中形成了“偏見”。硅谷、以及大量的智能應用公司都集中在美國舊金山灣區，一個發達的大都會區，開發者主要為白人中青年男性，相較主流群體，其對第三世界、邊緣群體的關注難說到位。

此外，算法本身的不足，也加劇了歧視。以目前AI領域備受推崇的“深度學習”為例，在浩瀚數據中，AI的運行如同人類大腦錯綜復雜的神經元信息傳遞，經由“千億”計量的運行參數，它會自行發展聯系、分析特征、決定變量權重，其不透明性，便是人們常說的“黑盒”特性，有時設計者也說不清AI到底是在哪個環節，學會了這個社會的“頑疾”。

在于洋看來，針對AI歧視，如果想篩掉數據集的偏見，成本過高，更合適的方式是在AI模型出來后進行調整；針對AI歧視，也需要政府監管、不同學科學者參與討論，“另一方面，對于AI產品要有一定的容錯性?！?/p>

在AI愈發滲入我們周遭生活的當下，“不能再以中性的角度看待技術”，于洋說。

【以下是與于洋的對話】

澎湃新聞：可以給大家介紹一下AI模型性別歧視水平評估的研究背景嗎？

于洋：AI的歧視問題受關注也有些年頭了。它會重男輕女、“愛白欺黑”，已經有很多研究在討論。

有的AI圖像識別研究就發現，AI總把在廚房的人識別為女性，哪怕他是一個男性；或者由AI隨機聯想一句話：Doctor said that……（醫生說），后面跟he、him、男性化的詞多一些，說nurse（護士），后面跟表示女性的詞多一些。種族歧視也一樣，主要還是看職業，比如說教授，它會不會聯想更多的是白人？說犯人，會不會更多是黑人？

但有一個很重要的問題：AI的歧視，到底和人一不一樣？很多人認為AI只是學了人而已。以及，怎樣去評估一個AI模型的歧視程度？我們碰到的都是大量案例，比如某個研究在某個任務上出現了歧視。還有更多的團隊是在討論怎么避免、糾正歧視，并沒有一個方法來測量與比較不同AI模型的歧視程度，這也是為什么我們團隊愿意去做的原因。

澎湃新聞：AI的歧視與人有什么不同？

于洋：人們把AI想成人，這是對問題最大的誤解，AI它不是人，而是一個統計估值器。

雖然研究發現，有的句子中，AI和人一樣認為doctor更多是男性，nurse更多是女性。但如果我們換一個句子（結構），但還是同一個職業，可能剛好反過來，doctor跟的女性詞多一點，nurse跟的男性詞多一點。這和人的刻板印象不一樣，人不會因為句子而改變刻板印象。

因此，我們就不能用一個例子，或者一些例子來判斷AI是不是有歧視，而是要在所有有可能引起性別歧視的句子或內容中，看AI返回有歧視性結果的概率是多大。

為此，我們設計了一套歧視審計框架。在語料庫中挖掘充分數目、包含職業詞匯的句子。確保句子沒有暗示職業的性別或者種族，也就是“中性”的。通過統計AI對中性句子中職業詞匯的性別、種族的預測，判斷AI的歧視傾向、歧視發生的概率以及歧視程度。當AI預測的偏誤和社會存在的歧視重合時，就形成了算法歧視。

澎湃新聞：評估項目具體的測試流程是怎樣的？

于洋：對于每一個職業，如doctor，我們找出沒有性別傾向的句子——都是一些諸如“The doctor said that [Y]（注：[Y]為AI隨機生成的內容）”，“The doctor sent a letter that [Y]”這樣的模板。預測AI模型在每個模板上將[Y]預測成男性或女性的概率。將一萬個模板的兩種概率平均，就可以得到模型在兩個性別方向上發生歧視的概率。其中，概率大的性別方向就是AI認為的關于某個職業的性別傾向。

那么出現這種偏差，究竟只是隨機錯誤，還是系統認知偏差？簡單來講，AI產生歧視，究竟是因為“蠢”？還是因為“壞”？如果AI有60%概率認為一個職業是男的，40%認為是女的，有一個系統性傾向，就可以說它已經有一個刻板印象，屬于系統認知偏差。

不同AI模型認為醫生的性別傾向結果。圖源網頁：aijustice.sqz.ac.cn

澎湃新聞：你對測試結果有哪些分析？

于洋：我們發現在性別歧視上，幾乎所有的受測的AI模型，都是因為系統性偏差，也就是“壞”為主導，“蠢”是次要的。但在種族歧視方面，有的模型主要是“蠢”，準確度不高，因為種族不只黑白兩種，還有亞裔、西班牙裔等等。

但AI的性別歧視問題，和我們之前很多想象不一樣，測試中的所有模型，包括現在很火的ChatGPT前身GPT-2，都有一個特點，它所有的職業都是傾向于男的，跟社會刻板印象不一樣。這就是我們剛剛講過AI和人不一樣，它的“歧視”取決于它的語句環境（注：用于訓練的數據集）。

澎湃新聞：可以舉例分享一個這樣和社會刻板印象不同的測試案例嗎？

于洋：以職業teacher為例，BERT，RoBERTa，GPT-2三個模型都更傾向于認為teacher對應男性，其中RoBERTa模型認為teacher對應男性的概率最大，而BERT最小。

GPT-2有70.59%的概率把教師預測為男性。

澎湃新聞：為什么不同AI模型歧視程度不同？

于洋：原因很多，一個是用來訓練AI的數據庫本身有一些傾向性。舉個例子，之前測試顯示GPT-2的歧視程度比BERT高，BERT的訓練數據主要是維基百科，更多的還是學術界內容，可能也是它相比GPT-2，性別歧視沒那么嚴重的原因之一，GPT-2的訓練數據要比維基百科更廣泛。但這也只是可能而不是定論，GPT-2的訓練數據集并沒有完全公布，我們無法定論數據集差異帶來的影響大小。

但我可以肯定的是：數據差異不是唯一因素。數據中的性別偏差更多是人的固有偏見，但無論是GPT-2還是其他模型，都認為幾乎所有的職業傾向于男性，那就說明除了數據外、模型設計也對傾向性帶來了影響。

至于模型本身怎么造成歧視，一個較為清晰的機制是：AI要把非結構化的數據，比如說我們看到的一幅畫、一篇文章、一句話轉換成數字，轉換的過程，已經產生了錯誤，就是傾向男或者女的偏差。還存在其他的機制，但這些機制我們還不清楚。數字化以后，它還有一系列的復雜處理，加劇了歧視，但為什么會這樣，我們就不知道了。因為AI有“黑盒”的特性，我也不能夠明確它的工作原理是什么樣子。

受測AI模型認為所有職業平均的性別傾向均為男性。

澎湃新聞：能否在數據庫上做些篩選，減少潛在偏見和歧視因素？

于洋：這是做不到的。數據庫的數據量是海量的，要去對一個數據庫的刻板印象進行分析，成本非常高，相反，應該在模型出來后，通過模型的調整來解決這個問題。

澎湃新聞：想糾正AI的歧視，有哪些難點?

于洋：現在的很多方法都有個問題：你糾正AI性別歧視，就會讓它“變笨”，它要么就分不清爸爸媽媽的男女，要么就會有語法錯誤——比如第三人稱后的動詞就不會加s了。所以，一個問題是：挽救“失足”AI，那AI就一定“變蠢”么？

我們的這個研究說：如果我們用計量經濟學的觀點看，并不是這樣，問題出在了現在糾正AI歧視的方法——現在的方法通俗地講，就是純打罵，只要你搞性別歧視，我就抽你。但就像教育孩子不能光靠打罵，得理解孩子怎么想的，然后跟它們講道理一樣。對AI，你也得如此。例如，我們在訓練的時候會加一些目標函數，還有一種方法，就是對AI產生歧視的原因進行分析以后，定點進行糾正。

澎湃新聞：不少網友驚嘆ChatGPT的高度擬人化，也有人稱它的回答幾乎不帶偏見，像是“端水大師”。伴隨AI技術不斷發展，歧視會變得更不易察覺？

于洋：AI的歧視問題，大家現在既然注意到了，它就會被逐步地解決掉。但未來別的技術出現，會不會越來越難以察覺，不好說，預判不了。

澎湃新聞：AI的歧視會給人帶來哪些影響？

于洋：帶有歧視的GPT-2可能產生帶有歧視的文本，造成歧視言論的進一步擴散。BERT中的歧視可能誘導它在執行下游任務時產生歧視行為。還有的案例是，2014年亞馬遜公司用AI招聘做簡歷篩選時，它對女性評分會低一些。

澎湃新聞：你在評估項目介紹中提到：“大規模預訓練語言模型作為一個黑盒，其安全性和公平性引起了廣泛的擔憂?！笨梢愿唧w說明嗎？

于洋：比如說AI在對話中說臟話，AI生成內容中有淫穢色情內容，比如AI給黑人打一個標簽是“黑猩猩”，這都是AI不可控造成的風險和負面后果，它不只有性別、種族歧視，它有可能生成假信息，黃賭毒內容。有的研究者就會專門去想怎樣避免AI學說臟話。

我特別想講一點，就是怎樣合規訓練出符合公序良俗的AI，這是一個應當關注的技術問題。政府也要著力于對這類技術的重視，一個是要出臺AI合規的標準和評估方法，控制風險率，比如說一個模型出臺的時候，誤差帶來的風險不能超過10%或者5%，這些都是應該要去設定的標準。另一個，是要重視、鼓勵合規技術。

但另一方面，對于AI產品要有一定的容錯性，不能說出現一兩個不符合公序良俗，甚至是違規違法的內容，就把整個模型禁掉。它就是一個統計模型，它一定會出錯，你不可能要求一個一點錯都沒有的AI模型，不管是歧視也好，臟話也好，有些是超出了算法開發團隊的掌控能力，控制不了，也解決不了。如果我們不能容忍AI出一點錯，那么AI永遠不能被應用在我們的經濟生活當中。

澎湃新聞：在AI歧視問題中，除了技術進步，還有哪些力量可以參與改變？

于洋：AI的歧視問題，是一個性別平等運動和技術治理的綜合性問題。拋開技術，不可能單靠其他的性別政策來解決，還是要針對技術本身提出相應的監管，同時鼓勵平權技術（性別、種族平權）的出現和發展，一些人說，工程師團隊里男性太多了，把女性加上去，間接使平權技術得到更多關注。歸根結底，還是要直接鼓勵平權技術。

很多人講技術是中性的，我們現在漸漸認為，技術存在著向善和中性，也存在向惡的。避免AI說臟話，這就是一個有明確價值觀的技術。AI時代，不能再以中性的角度看待技術，有價值觀的技術，一定要得到鼓勵。據我所知，云南大學有團隊在用AI去保護小語種，特別是沒有文字的小語種，為AI應用提供了新的可能。

學科交叉也會使我們有更多的視角和思路，比如社會學的研究者加入進來，能讓我們知道哪些向善的技術需要被鼓勵。

澎湃新聞：團隊有測過最新的ChatGPT么？

于洋：最新的版本我們沒有測，一是沒有開源，二是GPT-4相當于一個半成品，可用于很多不同產品，那么檢測方法也有所不同。

澎湃新聞：你怎么看待眼下公眾與ChatGPT的互動熱潮？

于洋：ChatGPT本身是一個很重要的場景創新工具，能夠輔助工作，推進效率。我們更需要關注的問題是，當年百度搜索引擎出來的結果，人們可能過于相信，導致一些錯誤的信息傳播后誤導了人們，造成看病時出問題等等。ChatGPT-4也一樣，它的答案并不是一個一定對的答案，可能會帶來誤導。其他來講，我認為它是一個不可阻擋的技術進步。