https://xiejiayun.github.io/tags/vllm/Recent content in VLLM on Jiayun's BlogHugozh-cnMon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.13779/Mon, 18 May 2026 00:00:00 +0000https://xiejiayun.github.io/post/paper-2605.13779/<blockquote> <p>📌 <strong>好文共赏 · 论文导读 | Paper Pick</strong></p> <p><strong>论文</strong>：<a href="https://arxiv.org/abs/2605.13779">MinT: Managed Infrastructure for Training and Serving Millions of LLMs</a> | arXiv:2605.13779 <strong>作者</strong>：Mind Lab（投稿人 Changhai Zhou，~55 人团队，核心贡献者 12 人） <strong>机构</strong>：Macaron AI 旗下研究实验室 Mind Lab（contact@mindlab.ltd，公开 cookbook 在 <a href="https://github.com/MindLab-Research"><code>MindLab-Research/mint-cookbook</code></a>） <strong>发布</strong>：2026-05-13（27 页，cs.LG/cs.AI/cs.DC）| <strong>多模评分</strong>：综合 <strong>8.7/10</strong>（Opus 8.9 / Sonnet 7.5 / Gemini 7.5；编辑加权后取 8.7） <strong>一句话</strong>：当前业界还在争论「LoRA 能不能用在 RL post-training」时，这份报告直接给出了<strong>百万 LoRA × 1T 基模 × MoE/MLA/DSA</strong>的完整调度方案，并把每一条速度曲线都钉到了真实集群上的秒级测量上。</p>https://xiejiayun.github.io/post/speculative-decoding-block-verification-2026/Thu, 30 Apr 2026 00:00:00 +0000https://xiejiayun.github.io/post/speculative-decoding-block-verification-2026/<h2 id="当推理速度提升-3-倍不再靠更大的-gpu而靠先猜后验的算法">当推理速度提升 3 倍不再靠更大的 GPU，而靠&quot;先猜后验&quot;的算法</h2> <p>2026 年 4 月底 arXiv 上挂出一篇看起来不起眼但分量很重的论文：<em>SpecTr-GBV: Multi-Draft Block Verification Accelerating Speculative Decoding</em>。它把 speculative decoding 的吞吐推到了一个新台阶——在不损失生成质量的前提下，对 70B 级别模型实现了 <strong>3.4× 端到端吞吐提升</strong>，关键创新是放弃了&quot;单 draft 模型 + 逐 token 验证&quot;的经典范式，改成&quot;多 draft 并行 + 块级一次性验证&quot;。</p>