DeepSeek 团队发布了一篇名为《mHC: Manifold-Constrained Hyper-Connections》的论文，提出了一种对 Transformer 残差结构进行根本性修复的新架构 mHC（流形约束超连接）。文章指出，现有大模型的残差连接虽然通过恒等映射保证信号稳定传播，但存在残差通道宽度被固定的瓶颈。为此，早期的 Hyper-Connections（HC）尝试“加宽残差”但因破坏恒等映射导致在大规模模型上训练崩溃。mHC 的核心思想是通过将残差混合矩阵强制投影到“双随机矩阵流形”上，实现“受约束的混合”，从而确保信号的非扩张性和跨层复合的稳定性，同时保持强大的表达能力。DeepSeek 通过工程优化，验证了 mHC 在 27B 模型上能够稳定训练，且相比基线和传统 HC 在性能和推理任务上均有显著提升。文章强调了这项工作的在架构、方法论（加约束而非单纯叠加）和未来趋势（拓扑结构与几何约束将成为新主战场）上的重要意义。
文章深入探讨了主流大型语言模型（LLM）普遍采用旋转位置编码（RoPE）而非其他方案的原因。作者分析了 RoPE 在设计上的精巧之处，如将绝对位置编码实现相对位置编码效果，以及在长序列建模上的天然优势。更重要的是，文章强调了 RoPE 的工程友好性，包括零额外参数、高计算效率（得益于融合算子优化）和易于扩展（通过 PI/YaRN 等方案实现长上下文微调）。 文章还批判性地评估了 ALIBI、FIRE、DAPE 等在论文中表现“更强”的位置编码方法，指出它们在工业实践中面临的巨大计算开销（序列长度的平方级增长）、难以优化（破坏 FlashAttention 等高效算法的适用性）以及实际训练稳定性问题（以 BLOOM 为例）。最终，文章总结认为，工业界在权衡效果、成本、风险和工程复杂度后，选择了 RoPE 这个在性能、效率、稳健性和可扩展性之间达到近乎完美平衡的方案。尽管未来技术演进可能带来改变，但在没有颠覆性方案出现前，RoPE 仍将是 LLM 位置编码的主流选择。
本文节选了谷歌联合创始人谢尔盖·布林在斯坦福大学工程学院百年庆典上的对谈内容。布林回顾了谷歌早期成功的两大要素：学术基因和敢于挑战难题的文化。针对人工智能领域，他坦诚谷歌在 Transformer 发布初期对其重视不足，错失了发展先机，但也强调了谷歌在神经网络研究、TPU 芯片开发以及大规模数据中心建设上的长期积累。他回应了 AI 时代计算机专业是否仍有吸引力的问题，认为算法突破比单纯扩展算力更重要，并提出大学教育和学术研究需要重新思考其定位。布林还以 Google Glass 为例，分享了创业者不应操之过急的教训，并提出材料科学和生物与健康领域是被低估的潜在前沿。
这篇综述性的文章深入探讨了 AI Agent 时代的“记忆系统”，核心论点是记忆已从单纯的“工程技巧”上升为 Agent 级智能的“第一性原语”。作者认为现有研究存在概念混乱、分类过时和研究碎片化的问题，因此提出了一个统一的三维分析框架（Forms-Functions-Dynamics）来系统梳理 Agent Memory。文章详细阐述了记忆的形态（扁平、平面、层次化）、功能（世界模型、体验式记忆、工作记忆）和演化方式（吸收、整合、重构），并首次强调体验式记忆是区分 Agent 与工具调用的关键。同时，文章还澄清了 Agent Memory 与 LLM Memory、RAG 和 Context Engineering 之间的边界，并整理了相关工程与研究资源，展望了未来五大研究前沿方向。值得注意的是，该文章主要是一个对完整综述的介绍和概括，提供了该 200 多页综述的英中对照 PDF 获取方式。
