Jiayun's Blog

Salvatore Sanfilippo 在五月中旬扔出 DwarfStar 4——一个只为 DeepSeek v4 Flash 写的本地推理引擎，七天 8.8k stars。他在 antirez.com/news/165 用一篇短文说清楚了：这一次不是又一个 GGUF runner，而是把 KV cache 当成一等磁盘公民、用 2/8 bit 不对称量化把 284B MoE 塞进 128GB Mac、用 GPT 5.5 在一周内把整个 stack 写完的赌注。它真正回答的是：在 GPT 5.5 之后，'本地 AI 主权' 还剩多少现实可能。

GGUF 把 chat template、特殊 token、sampler 链塞进一个文件，是 llama.cpp 生态最大的 ergonomics 胜利之一。但 NobodyWho 团队从 Rust 引擎实现者的视角，指出它还差四块拼图：tool calling 语法、think token、projection model、feature flag——每一块都揭示了'本地大模型'与'托管 API'之间真正的工程鸿沟。