长上下文 on Jiayun's Bloghttps://xiejiayun.github.io/tags/%E9%95%BF%E4%B8%8A%E4%B8%8B%E6%96%87/Recent content in 长上下文 on Jiayun's BlogHugozh-cnMon, 18 May 2026 00:00:00 +0000【论文导读】RoPE 在长上下文里既不能区分位置、也不能区分 token：UIUC + Amazon AGI 给现代 LLM 写的一份『出生缺陷诊断书』https://xiejiayun.github.io/post/paper-2605.15514/Mon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.15514/<blockquote> <p>📌 <strong>好文共赏 · 论文导读 | Paper Pick</strong></p> <p>📄 论文：<a href="https://arxiv.org/abs/2605.15514">RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably</a> · arXiv <strong>2605.15514</strong> 👥 作者：Yufeng Du, Phillip Harris, Minyang Tian, Eliu A. Huerta, Srikanth Ronanki, Subendhu Rongali, Aram Galstyan, Hao Peng（UIUC × Bonn × Argonne × Amazon AGI） 📅 发布：2026-05-15 | 多模评分：综合 <strong>8.67 / 10</strong>（Opus 9.0 · Sonnet-equiv 8.5 · Gemini-equiv 8.5） ✍️ 一句话：把 RoPE 的注意力分数建模为正态随机变量后，证明出 4 个失败模式的失败概率都趋近 0.5；这是一份<strong>给 Llama / Qwen / DeepSeek / Kimi / gpt-oss 全部 RoPE-based 长上下文模型写的诊断书</strong>——『128K 上下文』作为广告词的可信度，正在被这篇论文从理论侧拆穿。</p>【论文导读】证明思维链的价值：一份关于「为什么 O(log n) 推理能顶 Ω(n) 上下文」的硬核数学https://xiejiayun.github.io/post/paper-2605.13687/Mon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.13687/<blockquote> <p>📌 <strong>好文共赏 · 论文导读 | Paper Pick</strong></p> <p>📄 论文：<a href="https://arxiv.org/abs/2605.13687">A Hierarchical Language Model with Predictable Scaling Laws and Provable Benefits of Reasoning</a> · arXiv <strong>2605.13687</strong><br> 👥 作者：Jason Gaitonde (Duke) · Frederic Koehler (UChicago) · Elchanan Mossel (MIT) · Joonhyung Shin (UChicago) · Allan Sly (Princeton)<br> 📅 发布：2026-05-14 | 多模评分：<strong>Opus 8.88 · Sonnet-equiv 8.75 · Gemini-equiv 9.00 → 综合 8.88 / 10</strong><br> ✍️ 一句话：用 d-叉树上的广播过程把&quot;语言&quot;做成可解析的概率分布，第一次<strong>定量地</strong>证明了一条社区抱了三年的口号——&ldquo;链式思考确实换得过来上下文&rdquo;——而且证给的不是 Turing 完备，是 <strong>Ω(n) vs Θ(log n) 的指数级缺口</strong>，最后还把所有理论曲线在 nanochat 训练的 Transformer 上对齐了。</p>