本文第一作者为明尼苏达大学博士生张子健，指导老师为洪明毅教授。其他作者包括北京大学的胡日臻，Amazon的Hongzhou Lin，明尼苏达大学的Athanasios Glentis、Dawei Li、Chung-Yiu Yau。现有的 RL 后训练方法统一更新所有 Transformer 层，隐含假设每一层对 RL 收益的贡献是均等的。来自明尼苏达大学、北京大学和亚马逊的团队挑战了这一假设：通过 ...