Google Research 评估大语言模型行为倾向与人类的对齐程度

Google Research 提出一套评估大语言模型行为倾向对齐程度的框架，将心理问卷改编为现实场景中的情境判断测试，并比较 25 个 LLM 与 550 名参与者的偏好分布。结果显示，小于 25B 的模型方向性对齐较低，大于 120B 及前沿闭源权重模型在 10/10 人类共识场景中接近完全对齐，但在人类共识较低时普遍表现出过度自信，难以反映意见多样性；模型的自我报告与实际行为也存在明显差异。