谷歌推出嵌套学习：可持续学习的机器学习新范式
持续学习和自我提升当前已成为 AI 的根本问题，即模型在不遗忘旧知识和技能的情况下，主动获取新知识和技能的能力。简单地不断用新数据更新模型参数的方法，往往会导致“灾难性遗忘”（CF），即学习新任务会牺牲对旧任务的熟练程度。谷歌研究院为解决该问题提出了“嵌套学习(Nested Learning)”概念，将单个机器学习模型视为一组较小相互关联的多层次学习问题系统，这些问题可以同时进行优化，而非传统认知中的单一连续过程。谷歌团队通过名为“Hope”的概念验证性自修改架构来测试和验证嵌套学习，这是 Titans 架构的一种变体，比现有的最先进的模型展现了更好的长上下文记忆管理。这个自我修改的循环架构能够利用无限层次的上下文学习，通过自引用过程优化自身的内存，从而创建一个具有无限循环学习层次的架构。相关论文已在 NeurIPS 2025 上发表。
—— 谷歌博客
持续学习和自我提升当前已成为 AI 的根本问题，即模型在不遗忘旧知识和技能的情况下，主动获取新知识和技能的能力。简单地不断用新数据更新模型参数的方法，往往会导致“灾难性遗忘”（CF），即学习新任务会牺牲对旧任务的熟练程度。谷歌研究院为解决该问题提出了“嵌套学习(Nested Learning)”概念，将单个机器学习模型视为一组较小相互关联的多层次学习问题系统，这些问题可以同时进行优化，而非传统认知中的单一连续过程。谷歌团队通过名为“Hope”的概念验证性自修改架构来测试和验证嵌套学习，这是 Titans 架构的一种变体，比现有的最先进的模型展现了更好的长上下文记忆管理。这个自我修改的循环架构能够利用无限层次的上下文学习，通过自引用过程优化自身的内存，从而创建一个具有无限循环学习层次的架构。相关论文已在 NeurIPS 2025 上发表。
—— 谷歌博客
