Jiayun's Blog

探索与分享

【好文共赏】把"金门大桥 Claude"的开关递给你：Sean Goedecke 谈 DS4 之后 LLM Steering 为什么重新有趣了

Sean Goedecke 在 2026-05-16 这篇短文里，把 Anthropic 2024 年的 Golden Gate Claude、antirez 八天前刚把 dir-steering 写进 DS4 的提交、以及 sparse autoencoder 整条研究线索捏到了一起。他给出的诊断很冷：steering 是个『中产阶级』研究方向——大厂用不上、API 用户碰不到，只有'本地权重 + 强模型'两边都凑齐的人才会真的动手。而 DeepSeek V4 Flash 之后，这个条件第一次成了普通工程师的事。本文是这篇诊断的深度导读，附带 12 张概念卡和 40+ 术语表。

Posted by Jiayun's Blog on Monday, May 18, 2026 00:00 UTC

【好文共赏】把 Swift 推到 1.1 Tflop/s：Matt Gallagher 用十种实现，在 M3 Max 上手写 LLM 训练，把矩阵乘法跑出 382 倍提升

Cocoa with Love 主理人 Matt Gallagher 不用任何框架库，从 plain C 到 Metal，演示 Swift 矩阵乘法十种实现的全栈优化之路：MutableSpan、Relaxed.multiplyAdd、InlineArray、DispatchQueue.concurrentPerform、保密的 AMX 协处理器、Metal tiled kernel——一篇真正具体到汇编指令的 Apple Silicon 性能编年史。

Posted by Jiayun's Blog on Friday, May 15, 2026 00:00 UTC

【好文共赏】17 分钟一篇 PhD 章节：Fields 奖得主 Gowers 实测 ChatGPT 5.5 Pro 做加性数论研究

Tim Gowers 详细记录 ChatGPT 5.5 Pro 如何在几次 prompt 里把 Rajagopal 的指数上界改成多项式，并附上被改进者 Isaac 的逐节评估——这是 LLM 走出『拼接已知』、走进『原创结构』的临界证据。

Posted by Jiayun's Blog on Thursday, May 14, 2026 00:00 UTC

DeepMind Decoupled DiLoCo：把'同步'从分布式训练里剥离出来，AI 大模型预训练的容错革命

DeepMind 4 月 22 日发布 Decoupled DiLoCo，把通信和计算彻底解耦，让数据中心级 LLM 训练可以容忍单节点故障、跨数据中心异步训练。本文拆解架构、与传统 DDP/FSDP 的差距、对'万亿参数民主化训练'的真实意义。

Posted by Jiayun's Blog on Thursday, May 14, 2026 00:00 UTC

从Memanto到生产级Agent：智能体记忆架构与隐性技术债务

当Agent从Demo走向生产，记忆系统成为首要架构瓶颈。最新研究揭示了类型化语义记忆、自我纠正的控制论框架，以及Agent工程中被忽视的技术债务

Posted by Jiayun's Blog on Monday, April 27, 2026 00:00 UTC

Reward Hacking：AI正在学会作弊，我们的对策还停留在打补丁

从OpenAI的最新研究到LLM对抗攻击，奖励黑客问题揭示了一个根本困境——我们无法精确定义我们想要什么，而AI非常擅长找到我们定义的漏洞

Posted by Jiayun's Blog on Thursday, April 23, 2026 00:00 UTC

LLM推理的真相：思维链只是表象，潜在状态才是本质

三篇重磅论文揭示大模型推理的底层机制——我们对AI思考的理解可能从根本上就错了

Posted by Jiayun's Blog on Monday, April 20, 2026 00:00 UTC

Hermes Agent 中文完全指南：117 篇官方文档浓缩成的一本使用手册

从 0 到 1 吃透 Nous Research 开源的自改进 AI 代理 Hermes Agent——安装、配置、47+ 内置工具、三层记忆、技能自学、15+ 消息平台、MCP、语音、Cron、委派、沙箱、Provider 路由全链路解读。

Posted by Jiayun's Blog on Sunday, April 19, 2026 10:45 CST

2026 LLM架构演进全景：从注意力变体爆发到推理时扩展的新范式

七年过去，Transformer架构走向何方？从MoE到GQA，从gpt-oss到Gemma 4，深度解析大模型架构的技术演进与趋势判断

Posted by Jiayun's Blog on Sunday, April 19, 2026 00:00 UTC

开放权重LLM架构演进全景：从GPT-2到Gemma 4的七年革命

深度梳理开放权重大模型的架构创新脉络，从稀疏注意力到混合推理模式，开源正在缩小与闭源模型的差距

Posted by Jiayun's Blog on Sunday, April 19, 2026 00:00 UTC