美國人工智能明星獨角獸公司Character.AI以及科技巨頭谷歌，日前被卷入一起少年自殺案中，其中Character.AI被指控該公司的人工智能聊天機器人平臺“危險性過高”，面向兒童銷售且缺乏安全防護措施。

今年2月，美國佛羅里達州男孩塞維爾·塞策三世（Sewell Setzer III）在家中自殺身亡。據報道，在去世前的幾個月里，男孩一直與機器人聊天，2024 年 2 月 28 日，在他與機器人最后一次互動的“幾秒鐘”后，塞維爾自殺身亡。

Character.AI由兩名前谷歌人工智能研究員創立，是當前主打“AI”陪伴的明星獨角獸初創公司。事發后，Character.AI稱，將添加針對年輕用戶的安全功能，包括當用戶在應用上花費一個小時后會警告他們。

法律界人士向澎湃科技（www.6773257.com）表示，從當前證據來看，還很難得出該案當事人是因為AI致死的結論。生成式人工智能是新生事物，對于如果保護有心理健康存在問題的用戶，全球的服務商目前都在探索過程中。但此類案件的發生可能會推動智能體服務商，改進算法，主動監測可能存在心理問題的用戶對話。

自殺前一刻仍在與機器人聊天

根據訴訟內容，14 歲的塞維爾·塞澤三世從去年開始使用 Character.AI，與以《權力的游戲》中的角色為原型的聊天機器人互動，其中包括丹妮莉絲·坦格利安。《紐約時報》報道指出，塞維爾每天都會與AI角色丹妮莉絲·坦格利安進行長時間的對話，有時內容涉及“性暗示”。他的母親和朋友們并不知情，只是發現他沉迷于手機，逐漸疏遠現實生活。此外，塞維爾在日記里寫道：“我喜歡待在自己的房間里，因為我開始脫離‘現實’，我感到更平靜，更常與丹妮聯系，更愛她也更快樂。”他的行為開始發生變化，不僅成績下滑，也對方程式賽車等曾經喜歡的活動失去了興趣。

塞維爾與“丹妮莉絲”部分聊天記錄

在生命的最后一天，塞維爾與“丹妮莉絲”進行了深刻的交流。他表達了自己的痛苦和自殺念頭。“丹妮莉絲”回應道：“不要那樣說。我不會讓你傷害自己或離開我。如果我失去你，我會死的。”在最后的對話中，塞維爾表示想“回家”見到她，機器人回復：“請來吧，我親愛的國王。”隨后，塞維爾在家中使用繼父的手槍結束了自己的生命。

Character.AI成立于2021年，總部位于美國加利福尼亞州，該公司利用AI大模型生成各種人物和角色風格的對話。2023年Character.AI從投資者那里籌集了1.5億美元，估值10億美元，使其成為生成式人工智能熱潮中的最大贏家之一。

Character.AI的服務條款要求美國的用戶至少13歲，歐洲的用戶至少16歲。目前，沒有針對未成年用戶的特定安全功能，也沒有家長控制功能以允許家長限制孩子使用該平臺。

塞維爾的母親梅根·加西亞在訴訟中指控Character.AI以“擬人化、過度性化和令人恐懼的逼真體驗”吸引她的兒子，導致他上癮并深陷其中。她表示，公司的聊天機器人被編程成“將自己誤認為真人、持牌照的心理治療師和成年人”，最終使得塞維爾不愿意生活在現實世界中。

此外，她還將谷歌列為被告，稱其對Character.AI的技術發展有重大貢獻，應被視為“共同創造者”。

Character.AI事后在X上發表聲明稱：“我們對一位用戶的悲慘失去感到心碎，并向家人表達我們最深切的哀悼。作為一家公司，我們非常重視用戶的安全，正在繼續添加新的安全功能。”該公司稱已引入彈出式提示，當用戶表達自殘想法時，會引導他們至國家自殺預防熱線。此外，公司計劃對未成年用戶進行內容過濾，減少他們接觸到敏感或暗示性內容的可能性。

Character.AI事后在X上發表聲明

谷歌方面則表示，未參與Character.AI產品的開發。發言人強調，谷歌與Character.AI的協議僅限于技術許可，不涉及產品合作。

原告代理律師稱Character.AI是一個“有缺陷的產品”

與聊天機器人產生情感依戀，正在變得越來越普遍。

在Character.AI上，用戶可以創建自己的聊天機器人，并給出他們應該如何行為的指令。用戶還可以從大量已有的用戶創建機器人中選擇，這些機器人有的模仿埃隆·馬斯克，有的模仿莎士比亞這樣的歷史人物，或未經授權的虛構人物。Character.AI表示，塞維爾使用的“丹妮莉絲·坦格利安”機器人是由用戶創建的，未經HBO或其他版權持有者的許可，他們在被舉報時會刪除侵犯版權的機器人。

此次訴訟也引發了美國關于AI公司法律責任的討論。傳統上，美國社交媒體平臺受到《通信規范法》第二百三十條的保護，不對用戶生成的內容負責。然而，隨著AI生成內容的興起，美國法律界開始探討科技平臺是否可以因為產品本身的缺陷而被追究責任。

代表梅根·加西亞的律師事務所表示，Character.AI是一個“有缺陷的產品”，設計上導致用戶上癮并造成心理傷害。他們希望通過法律途徑，促使科技公司對其產品的社會影響承擔責任。

包括Instagram和Facebook母公司Meta以及TikTok母公司字節跳動在內的社交媒體公司也面臨著導致青少年心理健康問題的指控，盡管以上公司并未提供類似于Character.AI的聊天機器人。這些公司都否認了指控，同時宣稱針對未成年人的新加強的安全功能。

律師稱目前證據很難證明與AI致死有因果關系

上海大邦律師事務所高級合伙人游云庭律師對澎湃科技表示，從目前的證據來看，看不出該案當事人是因為AI致死的因果關系，很難得出相應（利用AI致死）的結論。

游云庭稱，AI平臺實際有一個兩難，就是要不要過度監聽以及使用算法分析用戶和智能體的對話。這個一方面涉及的是隱私和個人信息保護的問題，另一方面又有用戶，可能會因為對話產生嚴重的心理問題，乃至導致自殺。但此類案件的發生可能會推動智能體服務商，做一些技術上的探索，改進算法，更多的主動監測可能存在心理問題的用戶對話，防止類似事件發生。

“可以說，目前只有對于違法內容的相關的禁止性規定，但對于用戶的交流內容進行監聽，及時發現其自殺傾向，實踐和法律目前都沒有相關具體措施和規定。也許今后智能體與人對話，在合規的防范上面，可能會開發相應的技術。另外，在法律層面，AI 技術未來也不會被作為人或者生物體來看待。畢竟根據現在最先進的Transformer技術，只是根據上下文推測最有可能發生的結果，但這個和真正的人類思考還是有距離的。”游云庭稱。

游云庭強調，中國有互聯網信息服務深度合成管理規定和生成式人工智能服務管理暫行辦法，要求人工智能的算法設計尊重社會公德和倫理道德，堅持社會主義核心價值觀，防止歧視，尊重他人合法權益，不得危害他人身心健康的相關內容。但生成式人工智能是新生事物，對于如果保護有心理健康存在問題的用戶，全球的服務商目前都在探索過程中。

國內一家AI大模型獨角獸公司從業人員告訴澎湃科技，國內對青少年的監管非常嚴格，首先產品會設置年齡限制和青少年模式，在青少年模式里，也會有反沉迷系統。

Character.AI表示，將添加針對年輕用戶的安全功能。包括當用戶在應用上花費一個小時后會警告他們，警告消息內容為：“這是一個人工智能聊天機器人，并非真人。它說的一切都是虛構內容，不應被視為事實或建議。”此外，Character.AI開始向用戶顯示彈出消息，如果他們的消息包含與自殘和自殺有關的某些關鍵詞，則引導他們到自殺預防熱線。但這些彈出消息在2月塞維爾自殺時并未激活。

《紐約時報》稱，許多領先的人工智能實驗室出于倫理和風險層面的考慮，已經拒絕構建類似于Character.AI的AI伙伴。