每一個大模型公司，都要建一個科技倫理（審查）委員會？

2023-10-10 13:12

來源：澎湃新聞·澎湃號·湃客

近年來，從自動化決策系統(tǒng)到人工智能算法，這些技術正在深刻地影響著我們的日常生活、工作和社會互動。然而，這種快速發(fā)展也伴隨著一系列倫理挑戰(zhàn)，包括隱私權保護、數(shù)據(jù)濫用、算法偏見等。在這種背景下，科技倫理審查的緊迫性日益凸顯。

近期，中國科技部會同教育部、工業(yè)和信息化部等10部門印發(fā)了《科技倫理審查辦法（試行）》（以下簡稱《辦法》），為科技倫理審查提供了具體規(guī)定。這一舉措不僅意味著政府對科技倫理審查的重視，也引發(fā)了一個關鍵問題的討論：大模型領域是否需要進行科技倫理審查？

如果需要審查，又應該如何審查？審查的焦點又應該放在哪些方面？這些問題將在本文中得到深入探討，以期揭示大模型領域科技倫理審查的必要性和具體路徑。

大模型領域需要科技倫理審查么？

在《辦法》中，一共列了7條需要開展倫理審查復核的科技活動清單，其中第6、7條分別是“具有輿論社會動員能力和社會意識引導能力的算法模型、應用程序及系統(tǒng)的研發(fā)”,”面向存在安全、人身健康風險等場景的具有高度自主能力的自動化決策系統(tǒng)的研發(fā)?！?/strong>

大模型，作為人工智能領域的頂尖技術代表，具有卓越的數(shù)據(jù)處理能力、智能分析能力和意識引導能力。這些特質(zhì)使得大模型不僅可以處理海量數(shù)據(jù)，還可以推演出極具影響力的結論和預測，甚至在某種程度上影響著公眾的輿論和社會意識形態(tài)。

因此，大模型的研發(fā)和應用可能會直接涉及到社會道德、倫理價值觀念、隱私權保護等一系列敏感問題。正是因為大模型的特殊性，它們應當在科技倫理審查的范疇內(nèi)。

以百度、阿里巴巴、華為、科大訊飛等科技巨頭為例，這些公司一直在大模型領域投入了大量資源進行研發(fā)，推動了人工智能技術的不斷進步。然而，這些公司所開發(fā)的大模型在應用的過程中，可能會觸及到用戶隱私，或者產(chǎn)生偏見性結果，甚至引導社會輿論走向?？萍紓惱韺彶榈膶嵤?，將促使這些科技公司更加負責任地開發(fā)和使用大模型。

怎么審查？誰來審查？

那怎么進行科技倫理審查呢？

《辦法》中有一條規(guī)定，“從事生命科學、醫(yī)學、人工智能等科技活動的單位，研究內(nèi)容涉及科技倫理敏感領域的，應設立科技倫理（審查）委員會?！?/strong>

并且要求“單位應為科技倫理（審查）委員會履職配備必要的工作人員、提供辦公場所和經(jīng)費等條件，并采取有效措施保障科技倫理（審查）委員會獨立開展倫理審查工作?！?/p>
“科技倫理（審查）委員會人數(shù)應不少于7人，設主任委員1人，副主任委員若干。委員會由具備相關科學技術背景的同行專家，倫理、法律等相應專業(yè)背景的專家組成，并應當有不同性別和非本單位的委員?！?/p>
應該說，這個要求不低。對于百度、阿里巴巴、華為、科大訊飛這樣的大公司而言，設立這樣一個科技倫理審查委員會的難度不大，但對于一些創(chuàng)業(yè)公司而言，是一個不小的負擔。
審查什么呢？
如果要審查，那審查什么呢？
《辦法》給出了具體的規(guī)定，“涉及數(shù)據(jù)和算法的科技活動，數(shù)據(jù)的收集、存儲、加工、使用等處理活動以及研究開發(fā)數(shù)據(jù)新技術等符合國家數(shù)據(jù)安全和個人信息保護等有關規(guī)定，數(shù)據(jù)安全風險監(jiān)測及應急處理方案得當；算法、模型和系統(tǒng)的設計、實現(xiàn)、應用等遵守公平、公正、透明、可靠、可控等原則，符合國家有關要求，倫理風險評估審核和應急處置方案合理，用戶權益保護措施全面得當?！?/p>
整體來看，在進行大模型領域的科技倫理審查時，關注的核心點主要集中在數(shù)據(jù)集和算法模型兩個方面。
其中，數(shù)據(jù)集在科技倫理審查中扮演著至關重要的角色，因為它直接影響到大模型的訓練和應用。在進行數(shù)據(jù)集的科技倫理審查時，需要關注以下幾個關鍵點：
保障數(shù)據(jù)合法性
大模型的數(shù)據(jù)集構建通常涉及多方面的法律和倫理問題，在ChatGPT的案例中，曝光了部分訓練數(shù)據(jù)集中包含的未經(jīng)授權的版權內(nèi)容，引發(fā)了對數(shù)據(jù)集合法性的關切。這不僅是對知識產(chǎn)權的侵犯，也觸碰了合法數(shù)據(jù)使用的底線。
因而，在科技倫理審查中，審查者需要仔細考察數(shù)據(jù)集的來源，確保所有數(shù)據(jù)都是合法獲取的，避免侵權行為。
保障用戶隱私
不可否認，用戶隱私保護一直做的不好，國內(nèi)外都發(fā)生過很多起大規(guī)模用戶數(shù)據(jù)泄露事故。例如，在2017年，美國信用評級公司Equifax遭受了一次嚴重的數(shù)據(jù)泄露攻擊。該事件導致了約1.43億美國公民的個人信息泄露，包括社會安全號碼、出生日期和地址等；
2018年，F(xiàn)acebook卷入了Cambridge Analytica丑聞。一款心理測試應用未經(jīng)授權地收集了約8700萬Facebook用戶的個人信息，包括個人喜好和朋友關系等；
2020年，全球知名酒店集團Marriott遭受了數(shù)據(jù)泄露攻擊，約5.2億客戶的個人信息泄露。
大模型的訓練必然要用到大量的用戶數(shù)據(jù)，因而，用戶隱私是大模型數(shù)據(jù)集審查中的另一大關注點。在科技倫理審查中，需要確保數(shù)據(jù)集中的個人身份信息得到妥善保護。
數(shù)據(jù)脫敏和匿名化是常用的隱私保護手段，但也需要審查者評估其有效性，確保處理后的數(shù)據(jù)不容易被還原成真實身份。此外，審查者還需要確認數(shù)據(jù)的存儲和傳輸過程中是否采取了加密措施，防止數(shù)據(jù)在傳輸和存儲過程中被非法獲取。
價值觀和偏見的審查
在科技倫理審查中，審查者需要更深入地關注數(shù)據(jù)集中蘊含的社會價值觀和潛在偏見。這一點至關重要，因為數(shù)據(jù)集中的價值觀會直接影響到模型的輸出結果，從而對社會產(chǎn)生深遠影響。
審查者需要關注數(shù)據(jù)集中是否存在歧視性的內(nèi)容，例如種族歧視、性別歧視或其他社會偏見。如果數(shù)據(jù)集中包含這些偏見，模型的輸出可能會強化這些偏見，加劇社會不公平現(xiàn)象。如果數(shù)據(jù)集偏向某一特定群體，模型的輸出可能會在服務和產(chǎn)品方面存在不公平性。
那怎么來消除數(shù)據(jù)集中可能存在的價值觀和偏見問題呢？
首先，我們需要關注“毒數(shù)據(jù)”。所謂毒數(shù)據(jù)，是在數(shù)據(jù)集中被惡意插入的、會導致模型產(chǎn)生誤導性或偏見性輸出的數(shù)據(jù)。審查者需要利用先進的技術手段，如對抗性學習，來檢測和清除這些毒數(shù)據(jù)，確保模型訓練的公正性和準確性。
此外，可以采用諸如“偏見檢測算法”這樣的技術，來檢測數(shù)據(jù)集和模型中的潛在偏見。一旦發(fā)現(xiàn)偏見，需要采取適當?shù)男拚胧@可能包括重新采樣數(shù)據(jù)、加入權重、或者調(diào)整算法以避免特定群體的偏見。
在科技倫理審查中，對算法層面的審查同樣重要。
張一鳴說過，“算法沒有價值觀”，但實際上算法是有價值觀的，算法的設計和實現(xiàn)往往受到開發(fā)者的觀念的影響。這就使得算法具有一定的導向性和潛在的偏見，而且，這種偏見可能是系統(tǒng)性的。
例如，目前的大部分新聞平臺、短視頻平臺，其算法邏輯通常以用戶點擊歷史、點贊記錄等為依據(jù)，將相似觀點的內(nèi)容推送給用戶。這種具有明顯導向性的算法，可能會將用戶置于一個信息的“泡泡”中，讓用戶只接觸到與其觀點相符的信息。
用戶看到的信息越是與其原有觀點一致，就越可能堅信自己的觀點是正確的，進而加深了認知偏見。
信息繭房可能會加劇了社會對立，使得不同社會群體之間的溝通變得更加困難。當人們只接觸到與自身觀點相符的信息時，他們更可能形成“我們”與“他們”的對立觀念，而非尊重和理解多元文化和觀點。這種對立觀念可能在社交媒體上被放大和激化，導致社會緊張局勢的加劇。
在大模型產(chǎn)品研發(fā)和應用過程中，要吸取推薦算法帶來“信息繭房”這樣的教訓，避免由于算法漏洞帶來系統(tǒng)性問題。
其中，避免算法偏見的一個重要方法是增加算法的透明度和可解釋性。
透明度使得審查者可以深入了解算法如何處理輸入數(shù)據(jù)、進行特征選擇、權衡不同目標等，幫助他們更好地識別潛在的偏見來源。
具有高可解釋性的算法能夠以清晰的方式展示其內(nèi)部運作，使非專業(yè)人士（包括審查者）能夠理解算法是如何得出某個決策的。通過可解釋性，審查者可以追蹤算法的決策路徑，識別在該路徑上可能存在的偏見點，進而定位和糾正潛在偏見。
向往AGI，但也要警惕AGI
隨著技術的進步，科學家們正在努力使大模型具備更強大的自我學習和適應能力。如果模型能夠在不斷學習的過程中改進自身，其智能水平可能以指數(shù)級別增長。這種自我進化可能會超越我們對其目標設定的預期。
而且，一旦一個模型具備了自我進化的能力，它可能會加速自身的進化過程。例如，它可以改進自己的學習算法，設計更高效的神經(jīng)網(wǎng)絡結構，甚至自主進行硬件升級。這種自我進化的加速性，可能使得模型在短時間內(nèi)達到無法預測的智能水平。
如果放任大模型的自我進化，可能在某個“奇點”讓其具備自主意識。如果模型具備了自我意識，它的決策和行為將不再僅僅受限于預先編程的規(guī)則，而可能受到自身主觀意識的影響，這就超出了我們的控制。
為了規(guī)避失控風險，我們可以設定一些能力閾值，作為審查的依據(jù)。
例如，當一個大模型的參數(shù)規(guī)模超過某一特定規(guī)模，或者當它表現(xiàn)出智能的自主涌現(xiàn)能力時，就需要進行更為嚴格和深入的審查。
一般來說，參數(shù)規(guī)模越大，模型的學習能力和適應性就越強。設定參數(shù)規(guī)模的閾值可以避免模型變得過于龐大，難以控制和解釋。
自主涌現(xiàn)能力指的是模型在沒有外部干預的情況下，自發(fā)性地生成新的知識、策略或技能。這種能力可能導致模型的決策和行為變得不可預測，甚至違背人類的價值觀。一旦模型表現(xiàn)出高度自主的涌現(xiàn)能力，就需要對其進行更為嚴格的審查。
以上，我們分析了針對大模型進行科技倫理審查的必要性以及具體的審查方法。然而，需要注意的是，要對大模型進行有效的倫理審查是一項艱巨的任務，目前還存在不少困難和挑戰(zhàn)。
其中，制定倫理審查的技術標準是一個迫切需要解決的問題。由于大模型技術的不斷創(chuàng)新，現(xiàn)有的倫理審查標準可能無法及時跟上技術的發(fā)展步伐，導致倫理審查的盲區(qū)。而制定靈活、適應性強的技術標準，是一項艱巨的挑戰(zhàn)。
與此同時，倫理審查的標準化也值得關注。不同地區(qū)、不同領域可能對大模型的倫理審查有不同的理解和要求，這種差異性可能導致倫理審查的不一致性，影響審查結果的公正性。在未來，建立全面、一致的倫理審查標準，使得倫理審查在全球范圍內(nèi)具備一致性和可比性，將是一個重要的發(fā)展方向。