Rohan Paul

新的 Meta 和 MIT 论文发现，在循环中重用 Transformer 的层可以击败普通模型。 循环多次运行相同的层，无需更多参数即可赋予模型更多深度。但每个循环都需要计算成本，并且通常针对每个令牌按顺序运行。 他们在多达 155B 个令牌上训练了多达 1B 个参数的密集模型，测试循环的位置和次数。他们还添加了微小的每循环适配器并修复了并行循环方法，以便循环可以在解码期间立即运行。 循环整个堆栈可以在固定大小下提供最佳质量，而循环中间层在训练计算紧张时效果最佳。每循环适配器只增加了 1.1% 到 4.3% 的参数，而深度加倍则增加了 51.4%，并且随着循环的增加，帮助也更大。