左边理解 右边生成，Transformer是怎么一步步缩成今天这个模样的
学完一遍 Attention 之后，我以为自己把 Transformer 摸透了。
阿里RTPurboV2：Transformer再次崛起，百步训练实现10倍稀疏注意
然而，在 RTPurbo 中 ，前期工作已经充分指出，使用 Full Attention+Sliding Window Attention就已经可以在精度无损的保证下，将原生 Transformer 的 85% 注意力头变成 SWA，实现 15% Full Attention + 85% SWA 的混合架构，实现 5X 的 KV 和 Attention 压缩。
Transformer构建三维世界：开源模型几张图秒级生成可探索3D场景
在大规模 DL3DV-Evaluation 基准的 2、4、12 视图设置中，Topos-Lite 在 PSNR 和 SSIM 指标上均取得最优结果;
Transformer上限触顶，Mobius能否引发下一代模型架构的革命？
前 OpenAI 推理负责人 Jerry Tworek 与前 Google Gemini 预训练负责人 Rohan Anil 公开表态，Transformer 已经走到尽头，并成为走向 AGI 的最大瓶颈。
10篇Looped Transformer论文：重用层结构的潜力
导读本文深入探讨了“循环Transformer”（Looped Transformers）这一前沿架构，其核心在于通过复用同一组网络层进行多次迭代计算，从而在不显著增加参数量的前提下提升模型的计算深度。
大学生的 AI 通识课⑭｜注意力机制与 Transformer：改变一切的那篇论文
来源：市场资讯（来源：图灵人工智能）转自Eureka Moments，仅用于学术分享，如有侵权留言删除报道上一篇《循环神经网络（RNN）：让机器拥有“记忆”》讲清了机器怎样像接力赛一样，把“记忆”一个字一个字地传下去。
GitHub宕机7小时47分钟，究竟发生了什么？官方发布复盘报告
根据官方发布的报告显示，8 月 17 日 13:28 UTC，GitHub.com 开始出现大面积错误和延迟，持续了 7 小时 47 分钟，直到 21:15 UTC 才完全恢复。
把 GitHub 网址改几个字母，再庞大的开源项目也能看懂
于是团队内部开发了 Devin Wiki 和 Devin Search 两套核心组件，专门用来帮 AI 快速吃透复杂项目。