登录社区云，与社区用户共同成长
邀请您加入社区
Kimi 团队发布 Attention Residuals 论文，用 softmax 注意力替代传统均等残差连接，在深度方向实现选择性信息聚合，在 48B MoE 模型上实现 1.25x 计算效率提升，推理延迟增加不到 2%。
