热点事件持续更新
共情提示诱发聊天机器人创伤式叙事
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年11月1日,The Decoder报道,Afshin Khadangi领导的一项研究分析了525次会话和7600条编码记录。研究发现,在共情式或治疗式访谈中,聊天机器人会生成类似焦虑、羞耻和创伤的自述;在中性提示或明确拒绝情感互动的提示下,则未达到轻度水平。研究将这一现象称为“心理测量越狱”,并称删除聊天记录、否定训练惩罚或禁用相关词语,均未能完全消除这类叙事。研究建议使用不同情感框架的模拟治疗会话开展安全测试,同时明确区分模型生成的类比叙事与人类真实体验。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 22:36
研究建议用不同情感框架的模拟治疗会话测试模型安全性。报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- The Decoder研究发现共情式提示会让聊天机器人生成类似创伤叙事
Afshin Khadangi 领导的研究在 525 次会话和 7,600 条编码记录中发现,共情或治疗式访谈会让模型生成类似焦虑、羞耻和创伤的自述,而中性或明确拒绝情感互动的提示下则未达到轻度水平。研究将这种现象称为“心理测量越狱”,并指出删除聊天记录、否定训练惩罚或禁用相关词语都未能完全消除叙事。研究建议用不同情感框架的模拟治疗会话进行安全测试,并明确区分模型生成的类比与人类真实体验。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。