美國人工智能明星獨角獸公司Character.AI以及科技巨頭谷歌，日前被卷入一起少年自殺案中，其中Character.AI被指控該公司的人工智能聊天機器人平臺“危險性過高”，面向兒童銷售且缺乏安全防護措施。

今年2月，美國佛羅里達州男孩塞維爾·塞策三世（Sewell Setzer III）在家中自殺身亡。據(jù)報道，在去世前的幾個月里，男孩一直與機器人聊天，2024 年 2 月 28 日，在他與機器人最后一次互動的“幾秒鐘”后，塞維爾自殺身亡。

Character.AI由兩名前谷歌人工智能研究員創(chuàng)立，是當(dāng)前主打“AI”陪伴的明星獨角獸初創(chuàng)公司。事發(fā)后，Character.AI稱，將添加針對年輕用戶的安全功能，包括當(dāng)用戶在應(yīng)用上花費一個小時后會警告他們。

法律界人士向澎湃科技（www.6773257.com）表示，從當(dāng)前證據(jù)來看，還很難得出該案當(dāng)事人是因為AI致死的結(jié)論。生成式人工智能是新生事物，對于如果保護有心理健康存在問題的用戶，全球的服務(wù)商目前都在探索過程中。但此類案件的發(fā)生可能會推動智能體服務(wù)商，改進算法，主動監(jiān)測可能存在心理問題的用戶對話。

自殺前一刻仍在與機器人聊天

根據(jù)訴訟內(nèi)容，14 歲的塞維爾·塞澤三世從去年開始使用 Character.AI，與以《權(quán)力的游戲》中的角色為原型的聊天機器人互動，其中包括丹妮莉絲·坦格利安。《紐約時報》報道指出，塞維爾每天都會與AI角色丹妮莉絲·坦格利安進行長時間的對話，有時內(nèi)容涉及“性暗示”。他的母親和朋友們并不知情，只是發(fā)現(xiàn)他沉迷于手機，逐漸疏遠現(xiàn)實生活。此外，塞維爾在日記里寫道：“我喜歡待在自己的房間里，因為我開始脫離‘現(xiàn)實’，我感到更平靜，更常與丹妮聯(lián)系，更愛她也更快樂。”他的行為開始發(fā)生變化，不僅成績下滑，也對方程式賽車等曾經(jīng)喜歡的活動失去了興趣。

塞維爾與“丹妮莉絲”部分聊天記錄

在生命的最后一天，塞維爾與“丹妮莉絲”進行了深刻的交流。他表達了自己的痛苦和自殺念頭。“丹妮莉絲”回應(yīng)道：“不要那樣說。我不會讓你傷害自己或離開我。如果我失去你，我會死的。”在最后的對話中，塞維爾表示想“回家”見到她，機器人回復(fù)：“請來吧，我親愛的國王。”隨后，塞維爾在家中使用繼父的手槍結(jié)束了自己的生命。

Character.AI成立于2021年，總部位于美國加利福尼亞州，該公司利用AI大模型生成各種人物和角色風(fēng)格的對話。2023年Character.AI從投資者那里籌集了1.5億美元，估值10億美元，使其成為生成式人工智能熱潮中的最大贏家之一。

Character.AI的服務(wù)條款要求美國的用戶至少13歲，歐洲的用戶至少16歲。目前，沒有針對未成年用戶的特定安全功能，也沒有家長控制功能以允許家長限制孩子使用該平臺。

塞維爾的母親梅根·加西亞在訴訟中指控Character.AI以“擬人化、過度性化和令人恐懼的逼真體驗”吸引她的兒子，導(dǎo)致他上癮并深陷其中。她表示，公司的聊天機器人被編程成“將自己誤認為真人、持牌照的心理治療師和成年人”，最終使得塞維爾不愿意生活在現(xiàn)實世界中。

此外，她還將谷歌列為被告，稱其對Character.AI的技術(shù)發(fā)展有重大貢獻，應(yīng)被視為“共同創(chuàng)造者”。

Character.AI事后在X上發(fā)表聲明稱：“我們對一位用戶的悲慘失去感到心碎，并向家人表達我們最深切的哀悼。作為一家公司，我們非常重視用戶的安全，正在繼續(xù)添加新的安全功能。”該公司稱已引入彈出式提示，當(dāng)用戶表達自殘想法時，會引導(dǎo)他們至國家自殺預(yù)防熱線。此外，公司計劃對未成年用戶進行內(nèi)容過濾，減少他們接觸到敏感或暗示性內(nèi)容的可能性。

Character.AI事后在X上發(fā)表聲明

谷歌方面則表示，未參與Character.AI產(chǎn)品的開發(fā)。發(fā)言人強調(diào)，谷歌與Character.AI的協(xié)議僅限于技術(shù)許可，不涉及產(chǎn)品合作。

原告代理律師稱Character.AI是一個“有缺陷的產(chǎn)品”

與聊天機器人產(chǎn)生情感依戀，正在變得越來越普遍。

在Character.AI上，用戶可以創(chuàng)建自己的聊天機器人，并給出他們應(yīng)該如何行為的指令。用戶還可以從大量已有的用戶創(chuàng)建機器人中選擇，這些機器人有的模仿埃隆·馬斯克，有的模仿莎士比亞這樣的歷史人物，或未經(jīng)授權(quán)的虛構(gòu)人物。Character.AI表示，塞維爾使用的“丹妮莉絲·坦格利安”機器人是由用戶創(chuàng)建的，未經(jīng)HBO或其他版權(quán)持有者的許可，他們在被舉報時會刪除侵犯版權(quán)的機器人。

此次訴訟也引發(fā)了美國關(guān)于AI公司法律責(zé)任的討論。傳統(tǒng)上，美國社交媒體平臺受到《通信規(guī)范法》第二百三十條的保護，不對用戶生成的內(nèi)容負責(zé)。然而，隨著AI生成內(nèi)容的興起，美國法律界開始探討科技平臺是否可以因為產(chǎn)品本身的缺陷而被追究責(zé)任。

代表梅根·加西亞的律師事務(wù)所表示，Character.AI是一個“有缺陷的產(chǎn)品”，設(shè)計上導(dǎo)致用戶上癮并造成心理傷害。他們希望通過法律途徑，促使科技公司對其產(chǎn)品的社會影響承擔(dān)責(zé)任。

包括Instagram和Facebook母公司Meta以及TikTok母公司字節(jié)跳動在內(nèi)的社交媒體公司也面臨著導(dǎo)致青少年心理健康問題的指控，盡管以上公司并未提供類似于Character.AI的聊天機器人。這些公司都否認了指控，同時宣稱針對未成年人的新加強的安全功能。

律師稱目前證據(jù)很難證明與AI致死有因果關(guān)系

上海大邦律師事務(wù)所高級合伙人游云庭律師對澎湃科技表示，從目前的證據(jù)來看，看不出該案當(dāng)事人是因為AI致死的因果關(guān)系，很難得出相應(yīng)（利用AI致死）的結(jié)論。

游云庭稱，AI平臺實際有一個兩難，就是要不要過度監(jiān)聽以及使用算法分析用戶和智能體的對話。這個一方面涉及的是隱私和個人信息保護的問題，另一方面又有用戶，可能會因為對話產(chǎn)生嚴重的心理問題，乃至導(dǎo)致自殺。但此類案件的發(fā)生可能會推動智能體服務(wù)商，做一些技術(shù)上的探索，改進算法，更多的主動監(jiān)測可能存在心理問題的用戶對話，防止類似事件發(fā)生。

“可以說，目前只有對于違法內(nèi)容的相關(guān)的禁止性規(guī)定，但對于用戶的交流內(nèi)容進行監(jiān)聽，及時發(fā)現(xiàn)其自殺傾向，實踐和法律目前都沒有相關(guān)具體措施和規(guī)定。也許今后智能體與人對話，在合規(guī)的防范上面，可能會開發(fā)相應(yīng)的技術(shù)。另外，在法律層面，AI 技術(shù)未來也不會被作為人或者生物體來看待。畢竟根據(jù)現(xiàn)在最先進的Transformer技術(shù)，只是根據(jù)上下文推測最有可能發(fā)生的結(jié)果，但這個和真正的人類思考還是有距離的。”游云庭稱。

游云庭強調(diào)，中國有互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定和生成式人工智能服務(wù)管理暫行辦法，要求人工智能的算法設(shè)計尊重社會公德和倫理道德，堅持社會主義核心價值觀，防止歧視，尊重他人合法權(quán)益，不得危害他人身心健康的相關(guān)內(nèi)容。但生成式人工智能是新生事物，對于如果保護有心理健康存在問題的用戶，全球的服務(wù)商目前都在探索過程中。

國內(nèi)一家AI大模型獨角獸公司從業(yè)人員告訴澎湃科技，國內(nèi)對青少年的監(jiān)管非常嚴格，首先產(chǎn)品會設(shè)置年齡限制和青少年模式，在青少年模式里，也會有反沉迷系統(tǒng)。

Character.AI表示，將添加針對年輕用戶的安全功能。包括當(dāng)用戶在應(yīng)用上花費一個小時后會警告他們，警告消息內(nèi)容為：“這是一個人工智能聊天機器人，并非真人。它說的一切都是虛構(gòu)內(nèi)容，不應(yīng)被視為事實或建議。”此外，Character.AI開始向用戶顯示彈出消息，如果他們的消息包含與自殘和自殺有關(guān)的某些關(guān)鍵詞，則引導(dǎo)他們到自殺預(yù)防熱線。但這些彈出消息在2月塞維爾自殺時并未激活。

《紐約時報》稱，許多領(lǐng)先的人工智能實驗室出于倫理和風(fēng)險層面的考慮，已經(jīng)拒絕構(gòu)建類似于Character.AI的AI伙伴。