Google Research·· 5 小时前AI 评分58
Google 提出 sleep 框架：让 LLM 在持续学习中保留知识
The sleep framework: A new way for LLMs to retain knowledge in continual learning
AI 导读
Google 研究团队提出 sleep 框架，为 LLM 设计“清醒交互 + 离线睡眠”的周期性学习流程，把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与 RL 模仿学习的知识播种和突触剪枝完成记忆巩固，再以随机专家激活、梯度筛选合成数据和 RL 精修进行“梦境”自我提升。
来源：Google Research · research.google