Google Research 提出 Sleep 框架，让 LLM 在持续学习中巩固知识

Google Research 提出 Sleep 框架，通过交替进行主动交互与离线记忆巩固，让 LLM 将短期上下文转化为长期参数，同时减少灾难性遗忘。该框架结合 MoE 参数扩展、知识蒸馏、突触剪枝和“梦境”自我改进，在 BABILong 上将长上下文扩展至 10M tokens，并在持续翻译、事实知识整合和数学推理评测中超过文中所列基线。