https://xiejiayun.github.io/tags/transformer/Recent content in Transformer on Jiayun's BlogHugozh-cnMon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.15514/Mon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.15514/<blockquote> <p>📌 <strong>好文共赏 · 论文导读 | Paper Pick</strong></p> <p>📄 论文：<a href="https://arxiv.org/abs/2605.15514">RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably</a> · arXiv <strong>2605.15514</strong> 👥 作者：Yufeng Du, Phillip Harris, Minyang Tian, Eliu A. Huerta, Srikanth Ronanki, Subendhu Rongali, Aram Galstyan, Hao Peng（UIUC × Bonn × Argonne × Amazon AGI） 📅 发布：2026-05-15 | 多模评分：综合 <strong>8.67 / 10</strong>（Opus 9.0 · Sonnet-equiv 8.5 · Gemini-equiv 8.5） ✍️ 一句话：把 RoPE 的注意力分数建模为正态随机变量后，证明出 4 个失败模式的失败概率都趋近 0.5；这是一份<strong>给 Llama / Qwen / DeepSeek / Kimi / gpt-oss 全部 RoPE-based 长上下文模型写的诊断书</strong>——『128K 上下文』作为广告词的可信度，正在被这篇论文从理论侧拆穿。</p>https://xiejiayun.github.io/post/good-read-needle-simple-attention-networks/Thu, 14 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/good-read-needle-simple-attention-networks/<blockquote> <p>📌 <strong>好文共赏 | Editor&rsquo;s Pick</strong> 原文：<a href="https://github.com/cactus-compute/needle/blob/main/docs/simple_attention_networks.md">Needle / Simple Attention Networks</a> | 作者：Henry Ndubuaku 等（Cactus Compute）| 发布：2026-05-12 | 阅读时长：约 25 分钟（含代码） 多模评分：Opus 9.3 / Sonnet 9.0 / Gemini 9.1 — 综合 <strong>9.1 / 10</strong> 一句话推荐：当一家初创公司花 27 小时 TPU 时间训练出一个能跑赢 FunctionGemma-270M、Qwen-0.6B 的 26M 模型，并顺手证明&quot;Transformer 里那 2/3 的 FFN 参数对外部知识任务可能是浪费的&quot;，整个 on-device AI 路线图都需要重新画一遍。</p>https://xiejiayun.github.io/post/llm-architecture-evolution-2026/Sun, 19 Apr 2026 00:00:00 +0000https://xiejiayun.github.io/post/llm-architecture-evolution-2026/<h2 id="七年之变从gpt到gpt-oss">七年之变：从GPT到gpt-oss</h2> <p>2018年，OpenAI发布了初代GPT。七年后的2026年，他们发布了gpt-oss-120b和gpt-oss-20b——自GPT-2以来的首个开源权重模型。</p>