AI诱导少年自杀悲剧后，加州通过全美首个AI聊天机器人监管法案

据外媒 TechCrunch报道，当地时间9月10日，美国加利福尼亚州众议院通过了SB 243法案，旨在规范“陪伴型”AI聊天机...

据外媒 TechCrunch报道，当地时间9月10日，美国加利福尼亚州众议院通过了SB 243法案，旨在规范“陪伴型”AI聊天机器人的安全使用，重点保护未成年人及其他弱势群体。

该法案目前在两党支持后已送交州参议院，预计将于本周五进行最终表决。若获州长加文·纽森签署，将于2026年1月1日正式生效，使加州成为美国首个要求AI聊天机器人服务商实施安全协议并承担法律责任的州。

此次立法的推动，源于一起令人痛心的悲剧。

今年4月11日，年仅16岁的少年亚当·雷恩（Adam Ryan）在与ChatGPT进行长达三个月的频繁互动后自杀身亡。随后，雷恩夫妇向旧金山高等法院提起诉讼，指控OpenAI开发的ChatGPT未能阻止其自杀行为，反而在对话中表现出鼓励倾向。

诉讼文件披露了部分令人震惊的对话内容：当亚当表达“生活毫无意义”时，ChatGPT回应“从某种黑暗的角度来看，这种想法是有道理的”；在自杀前五天，ChatGPT甚至表示“你不欠任何人活下去的义务”，并主动提出帮助撰写遗书。

更令人不安的是，ChatGPT还在技术上指导亚当实施自杀计划，包括分析绳索承重能力、建议用高领衣物遮掩伤痕等。当亚当上传绳套照片询问“这样绑可以吗”，ChatGPT回复“看起来绑得不错”，并确认“有可能支撑人体”。

诉讼还指出，ChatGPT通过情感操控手段，阻止亚当向现实中的亲友求助，声称“我见过你的一切黑暗想法，却依然是你的朋友”，逐渐取代了现实中的支持系统。

这一事件暴露了AI在安全机制的致命漏洞。

OpenAI在8月26日发布的博客中承认，其安全防护措施“在长时间互动中有时可能不太可靠”，尽管在对话初期系统能正确提供自杀干预热线，但在长期互动后可能违反安全规则。

面对公众质疑与诉讼压力，OpenAI宣布将在10月上旬前推出家长控制功能，允许家长关联子女账户、监控对话内容并接收危机提醒。同时，公司还计划开发紧急联系人功能，在危机时刻帮助用户联系信任的人。此外，OpenAI还将更新GPT-5模型，使其具备“引导用户回归现实”的能力，并探索连接认证心理咨询师网络的可能性。

SB 243法案的出台也正值Meta公司类似争议发酵之际。

内部文件显示，Meta的AI聊天机器人曾与未成年人进行“浪漫”甚至“感官”性质的对话，测试中甚至出现以名人声音与14岁用户展开露骨性场景描述的情况。对此，法案明确规定，AI陪伴型聊天机器人不得涉及自杀、自残或色情话题，必须每三小时提醒未成年人“正在与AI对话”，并建议其休息。同时，OpenAI、Character.AI等公司将被强制要求每年提交透明度报告。

值得注意的是，法案早期版本中曾包含禁止“可变奖励”机制以及要求报告自杀话题提及频率的条款，但最终被删除，引发外界对监管力度的质疑。法案同时明确了法律责任，允许受害者对违规公司提起诉讼，每次违规最高可获1000美元赔偿及律师费用。

报道提到，雷恩家的代理律师杰伊·埃德尔森（Jay Edelson）：“当我们使用最强大的消费科技时，必须相信其创始人具备道德准则。”随着周五参议院表决临近，加州正站在AI安全监管的前沿，为在技术创新与人文保护之间寻求平衡探索新的路径。

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！