史信息,并配置可学习权重的路由器实现每轮循环的信息差异化读写,有效解决了共享网络缺乏分工及信息过载问题,在减少约33%非嵌入参数的同时提升了零样本下游准确率。此外,团队发布SpiralFormer,创新性地让序列长度随循环推进从粗到细动态调整,使模型初期关注全局模式、后期聚焦局部细节,在保持参数量不变的情况下降低了计算量并提高了准确率。这两项成果分别被ICLR 2026和EMNLP 2026接收,为利用计算深度替代参数规模的高效大模型路线提供了实证支持。
受GPT-6及Claude Mythos等模型引发对循环Transformer架构关注的影响,阿里及合作高校研究团队针对该架构中存在的“循环空转”与计算效率问题展开深入研究。团队提出MeSH方案,通过引入Memory Buffer动态分流历
史信息,并配置可学习权重的路由器实现每轮循环的信息差异化读写,有效解决了共享网络缺乏分工及信息过载问题,在减少约33%非嵌入参数的同时提升了零样本下游准确率。此外,团队发布SpiralFormer,创新性地让序列长度随循环推进从粗到细动态调整,使模型初期关注全局模式、后期聚焦局部细节,在保持参数量不变的情况下降低了计算量并提高了准确率。这两项成果分别被ICLR 2026和EMNLP 2026接收,为利用计算深度替代参数规模的高效大模型路线提供了实证支持。