Jiayun's Blog

Charles Frye、Erik Bernhardsson 等四人把 Modal 五年攻克 serverless GPU 冷启动的全栈技术写成一份完整账本：从云端 buffer 的线性规划，到 ImageFS 的内容寻址 FUSE 文件系统，再到 gVisor checkpoint/restore 与 NVIDIA cuda-checkpoint，把 LLM 推理副本启动从『多个千秒』压到 50 秒，单平台已重启过约 5000 万个 replica。

拆解 arXiv 2605.13687：Mossel/Sly/Koehler 等概率大牛把语言抽象成树上广播过程，给出第一份可证、可验、可量化的'CoT 加速定理'——上下文需要 Ω(n) 才能勉强匹配真实语言的全局统计，而 Θ(log n) 比特的推理记忆就足以精确采样，并在 nanochat 训练的 Transformer 上实验逐项对齐。