Fly in nothing
Joined November 2021
- Tweets2.9K
- Following605
- Followers33
- Likes9K
Nobody and nothing retweeted
Hugging Face上的一个很棒的免费Post-training Agents（后训练Agent）的blog和视频课程，是一个非常细致的入门指引，推荐！！！
blog讲解了完整的后训练的5个环节，SFT，蒸馏，RL（强化学习），RL环境，Harnesses and scale，以及过程需要学习的文档链接以及相关的视频课程的链接，是一个比较好的学习指引。
huggingface.co/blog/huggingf…
youtube.com/playlist?list=PL…
Nobody and nothing retweeted
论文：arxiv.org/abs/2610.29162v1
Why is AI-generated language so hard to understand?
-----------------------
AI 生成的文本为什么越来越难读？
研究者提出了一个统一的解释。
人类语言经过长期演化，被优化来成功沟通。这意味着什么？一个人说话时会倾向于缩短依存距离、在关键位置插入信号词、避免罕见搭配，这些习惯降低了听者的理解负担。心理语言学把这种倾向叫做“均匀信息密度”（uniform information density）：说话人把信息分散开，避免在某一点突然堆积太多信息让听者处理不过来。
但现在的前沿模型不再只是模仿人类文本。它们经历了大量后训练，用强化学习去解数学题、写代码、做推理。在这些任务里，一个模型因为答对了会获得奖励，但因为表达清楚不会获得任何额外的奖励。同时上下文窗口有限制，用更少的词说同样的事就能在有限空间里装更多信息。这两个因素合在一起，制造了一种信息密度压力：模型倾向于选择更短更密集的表达方式，即使这意味着偏离人类的语言习惯。
基于这篇论文的研究，可以在 Agents.md 中添加如下要求，尝试提升文本可读性：
1. 句间连接不许省。 两个判断挨着放时，如果第二句不是对第一句的直接延续，中间必须有一句话交代它们的关系。读者不应该需要自己猜两句话之间是转折、因果、还是补充。问题和回答之间同理：问题出现后，至少停一句话再展开回应。
2. 修饰语不超过两层。 一个名词前面的定语不超过两层嵌套。需要三层以上时，先把最内层的概念用一句话说清楚，再往外套。「用户行为数据分析模型优化方案」这类写法禁止出现。
3. 同一段内，抽象概念做主语并搭配动作动词的句子不超过两句。 「这个框架吞噬了…」「这条规则抓住了…」「这个机制驱动了…」——每一句单独看没问题，密集出现时读者的理解负担会累积。第三句起必须换成具体的人、事物或场景做主语。
4. 写完后自检搭配。 逐句检查名词与动词的搭配，问：这个搭配在日常口语里说不说？如果说不出来，换成说得出来的。每个字都认识但连在一起别扭的表述，就是需要换的。
Nobody and nothing retweeted
Algorithms by Jeff Erickson - pair it along with this MIT's adv data structures.
The illustrations are simply great, and this is one of the best algorithm books out there.
jeffe.cs.illinois.edu/teachi…
Nobody and nothing retweeted
OpenCode 的 AGENTS.md 值得拥有，专治 Codex 的过度设计，茫茫多的防御性代码，一坨坨几乎根本不会发生的极端边界。
不仅仅是这一点，整个文件的内容都值得一看 ，style guide 一节写的很好，我已经用于我大部分 agent 的默认提示词了
github.com/anomalyco/opencod…
“Before adding complexity for a speculative or vanishingly unlikely race or security edge case, explain the concrete failure mode, likelihood, and complexity cost to the user and get their buy-in. Do not silently expand scope for theoretical robustness.”
让 AI 翻译一下：
“在为推测性的、或者几乎不可能发生的竞态条件/安全边界情况增加复杂度之前，先向用户讲清楚：具体会出什么问题、发生的概率有多大、以及增加这些复杂度的成本，并得到用户的明确同意。不要为了理论上的健壮性，就悄悄把范围扩大。”
非常贴切
This is such a banger rule in @opencode's AGENTS.md
"Before adding complexity for a speculative or vanishingly unlikely race or security edge case, explain the concrete failure mode, likelihood, and complexity cost to the user and get their buy-in. Do not silently expand scope for theoretical robustness."
Nobody and nothing retweeted
为什么现在的顶尖大模型说话越来越“拗口、难懂”了？
NYU 和 UT Austin 刚刚发了一篇非常扎心的心理语言学论文，直接扒开了现代大模型“不好好说人话”的底牌。
研究人员把 Claude Sonnet 5 / Opus 5.5、GPT-5.6、GLM-5、Kimi K2.5 等 9 款前沿模型拉出来做全方位句法解剖，发现了 3 个反直觉真相：
1️⃣ 顶尖 AI 正在滥用 6 种“高认知负荷”句式
相比真实人类写作和同义回译文本，前沿模型极度偏爱：省略 that 的宾语从句、多重名词硬堆叠（如 reader-patience budget）、名词强行作动词（如 calendar it / footnote it）、无生命主语配动作动词，以及超长句法依存距离。这些特征在心理语言学里全是消耗人类短期记忆的“阅读杀手”。
2️⃣ 根源在于“人类大脑”与“推理后训练”的错位
人类语言遵循“均匀信息密度（UID）”——为了照顾听众有限的工作记忆，我们会本能地加入过渡词把信息摊平。而现代大模型经过大量数学、代码和推理（RLVR）后训练，只追求在有限窗口内最大化“信息密度”。
3️⃣ 一个简单的长度惩罚，就能复刻这种“反人类文风”
团队在微调实验中加入长度惩罚（Length Penalty），逼模型少用 Token，结果模型立刻学会了砍掉连接词、堆叠名词，瞬间变成那股熟悉的“高密度 AI 味”。
当模型为了解题效率疯狂压缩 Token 时，你觉得未来的 AI 应该区分“高密度推理模式”和“人类友好沟通模式”吗？
Nobody and nothing retweeted
Google DeepMind 的《A Fix for Softmax and Cross-Entropy》一举修复了大模型天空的两处裂缝
两类数值问题（由计算机表示浮点数舍入问题导致的数值不稳定）：
1. 模型对正确答案极其确信时，本该保留的微小梯度被提前算成了零；这和早年大模型训练经常崩有不小的联系
2. 蒸馏中师生输出已经相同时，却可能因前后向计算路径不同，仍留下非零梯度，对应 蒸馏漂移 现象
Adam 会根据这些信号继续调整参数，小误差也可能改变训练过程。
作者在小型模运算任务上消除了相关的周期性 loss 尖峰；在用教师权重初始化学生的蒸馏实验里，也阻止了学生无故漂移。修复保留原来的数学目标，换成更稳定的计算写法。
这项修复的潜在覆盖面很广，实际收益仍取决于真实训练是否频繁碰到这些边界。下一步需要的是大模型复现和生产内核测试。
论文：arxiv.org/html/2610.31642v1
页面：jonbarron.info/softmaxfix/
Nobody and nothing retweeted
非常推荐读一下 OpenAI FDE 负责人 Colin Jarvis 今天发的这篇工程博客！
他们的 FDE 团队花了几个月给客户做 AI 系统，结果 Codex 变强后，直接删掉了约 90% 的定制代码。
文章用一个半导体客户的真实项目，讲清楚了 FDE 到底在做什么。
工程师直接深入客户团队，跟芯片专家一起设计 Eval、搭建 Harness，把 AI 真正用到芯片验证和调试流程里。
在这个行业，验证约占项目工作量的 70%。前 3–6 个月，几个场景都上了生产：定向测试生成节省约 48% 的时间，几周的调试被压缩到几小时。
但项目上线只是第一步。
随着 Codex 能力提升，团队把原来的定制应用逐步改造成通用 Harness 上的 Skills 和插件。Codex 本身成了交互界面，原来各场景单独写的终端界面和命令行工具全部退役。
扩展到新团队时，基本只需要换上新的连接器和 MCP，再用一个 Skill 生成新的 Eval。第一次部署花了两个月，复制到第二个团队只用了一天。
而当模型能力不够时，FDE 还要把真实业务中的失败案例和能力缺口反馈给 Research。一家电信客户做语音客服，模型一开始在关键 Eval 上只有约 60%，六个月里随着新模型迭代涨到 90% 以上，才达到上线标准。
我很喜欢作者提到的一个目标：让 FDE 不断减少别人对自己的依赖。
我觉得企业 Agent 项目里真正留得下来的，是 Eval、失败案例和沉淀成 Skill 的业务知识；为了补模型短板写的胶水代码，每次模型升级都该重新审一遍，随时准备删。
做企业 AI 落地的建议先收藏。如果你每接一个新客户都还在从头写一套，说明东西还停在定制应用这一层，没沉淀下来。
原文：openai.com/index/forward-dep…
Nobody and nothing retweeted
全世界包括清北的编程课程都应该向斯坦福的CS146S Fall 2026看齐！这门课相比一年前的Fall 2025已经砍掉了85%的内容，可以知道编程领域进展有多恐怖了，如果还停留在教科书十年不需更新的幻觉中，可想而知会多落后了！
两版课纲我逐周对了一遍：
第 1 周：教你怎么写 prompt → 200 行代码手搓一个 Claude Code
期末项目占分：80% → 50%
给真实开源项目提 PR：0 → 30%
去年还单独讲一周的 AI IDE、Warp 终端、一句 prompt 生成整个应用，今年全部都拿掉。
取而代之的是 Agent Skills、CLAUDE.md / AGENTS.md / hooks、agent-ready 代码库、后台并行 agent、MCP portal 和模型路由，最后一周单独讲软件工厂。
刚入门的话，我建议从第 1 周跟起：
9/22 那节 200 行手写 coding agent，slides 和完整代码都公开了，最核心的是 agent 原型—— read / write / edit / bash 四个工具加一个循环
9/24 拆主流 coding agent 的 system prompt，原始 prompt 文件也已放出来
如果已经天天跟 coding agent 打交道，前几周大概率扫一眼就行，我会重点盯这几块：
- 嘉宾：SpaceX SI负责人 @leerob、Claude Code之父 @bcherny 已经分享完，10/22 轮到 Factory 的 CTO @EnoReyes，后面还有 Cognition、Semgrep、Cloudflare、Replit 等的 @amasad 和 @eladgil
- 第 9–10 周：大团队怎么落地，MCP portal、LLM gateway、模型路由、成本优化
- 前五周的阅读清单，凑起来就是一份 2026 版 agent 工程书单
30% 的开源分也很有意思：Vercel、Semgrep、OpenHands、Unsloth 等 15 个开源项目给学生做指导，PR 直接往生产级代码库里提，这在大学课程里还是头一回。
课程材料陆续公开，不是斯坦福学生也能跟：themodernsoftware.dev
后面几周的嘉宾分享我会边看边拆，关注我，第一时间同步最佳实践🫡
I’m excited to finally announce the newest edition my Stanford course 𝗧𝗵𝗲 𝗠𝗼𝗱𝗲𝗿𝗻 𝗦𝗼𝗳𝘁𝘄𝗮𝗿𝗲 𝗗𝗲𝘃𝗲𝗹𝗼𝗽𝗲𝗿. It has been 9 months in the making.
Last November, with the release of Claude Opus 4.5, coding agents experienced a step function improvement in capability. We all felt it. The LLMs were more powerful, could reason for longer, solve harder tasks.
This year’s iteration of my course reflects the 2026 metamorphosis of software engineering.
My core belief is simple: AI-native developers of the LLM era are going to become the most important members of any software organization. I have designed my course to train this next generation of engineers.
𝗪𝗵𝗮𝘁’𝘀 𝗱𝗶𝗳𝗳𝗲𝗿𝗲𝗻𝘁 𝘁𝗵𝗶𝘀 𝘁𝗶𝗺𝗲 𝗮𝗿𝗼𝘂𝗻𝗱
First, 85% of my Fall 2025 class material is being thrown out. The Fall 2026 syllabus reflects the core capabilities AI-native engineers must have: agent skills, advanced context engineering, MCP portals, agent-ready codebase principles, agentic code review, security, parallelizing background agents, software factories, and more.
Second, I am going to teach my students how to have software taste. Every student will be required to ship pull requests to production-grade, real-world codebases. The course is collaborating with the top open-source AI repos who will offer support and mentorship to students on how to meaningfully contribute to their projects.
This has never been done before in any university course so I am incredibly grateful to our OSS Partners: @browserbase, @HeyGen, @CopilotKit, @semgrep, @OpenHandsDev, @milvusio, @marimo_io, Pi, @crewAIInc, @warpdotdev, @vercel, @cmux, @arizeai, @UnslothAI, and @anyscalecompute.
𝗪𝗵𝗮𝘁’𝘀 𝘀𝘁𝗮𝘆𝗶𝗻𝗴 𝘁𝗵𝗲 𝘀𝗮𝗺𝗲
I’m fortunate to again have AI software engineering leaders and founders as guest speakers to share their learnings from building top coding agent products. Thank you to @leerob from @cursor_ai, @bcherny of @claudeai code, @EnoReyes of @FactoryAI, @silasalberti of @cognition, @0xine of @semgrep, Rajesh Bhatia of @Cloudflare , @amasad of @Replit, and @eladgil.
All resources will be available online. All classes will be available to the public.
9/22 on Stanford campus. See you in class.
themodernsoftware.dev/
Nobody and nothing retweeted
这篇论文有点意思啊，它证明注意力层和一个两层的MLP数学上等价，并且作为即时生成fast weight，然后宽度就是上下文长度，Q，K，V都分别对应着输入，第一层MLP的权重和第二层MLP的权重。softmax就是激活函数。
这一下就解释的通了，毕竟注意力机制这个矩阵看起来就不像是人脑里面能长出来的东西，看成MLP就合理多了。同时，这也说明了transformer里面其实就有现在持续学习里面的比较重要的fast weight路线。这么说的话，zero shot的能力其实也能解释的通了，解释为临时生成的MLP的能力，原来的一层attention一层MLP就是快慢权重的结合
更重要的是，现在的各种优化attention层的方法也可以看成是路由和压缩，类似linear attention就是MLP的压缩，而DSA就是路由，moe。
感觉未来也许我们能找到某个简单的方案，把transformer里面那些乱七八糟的东西都换成简单的MLP呢？这样也符合大道至简，符合bitter lesson。attention其实还是有人类的经验在里面的。
arxiv.org/abs/2602.01219
Nobody and nothing retweeted
Build specialized harnesses, folks.
This is a banger paper from Google Cloud AI Research on self-evolving agent harnesses.
(bookmark it)
They introduce OO-Harness, which raises AutomationBench from 61.6% to 77.4% with the same Gemini 3.5 Flash executor.
It also beats Meta-Harness on all three benchmarks they test.
More details below.
Instead of evolving one global harness for every task, an evolution agent builds a class hierarchy of specialized harnesses from execution records.
The design has three parts.
> Subclasses inherit the base harness and override only the methods a task cluster needs
> Design lessons record which changes helped and which ones failed
> A router reads the task and the base run, then picks a subclass or keeps the base result
On Workspace-Bench, the score goes from 25.5% to 39.5%, and on Toolathlon-GYM strict pass goes from 31.2% to 37.5%. Spending extra inference on best-of-K sampling or self-refinement does not reliably help.
Inheritance also improves results. On Workspace-Bench, harnesses built as subclasses score 4.96 points higher than the same evolved code copied into flat classes.
arxiv.org/abs/2610.28380
Chat with Paper: academy.dair.ai/papers/objec…
Nobody and nothing retweeted
好文！
近段时间涌现出“决策模型”，如：
TypeSafe 的 Jev
Perplexity 的 Decider
Cloudflare 的 Clef
OpenAI 的 Decisions API
输出概率而非长文本，常被用作 LLM-as-a-Judge 的替代方案。
如何用这些决策模型做 Evals，推荐读这篇！
Nobody and nothing retweeted
Matt 的这个观点我很赞同，我之前也有类似的规则，但是他是让 Agent 写了一个 pre-commit hook，任何文件超过 5000 token就拦下提交，只检查 staged 的文件，跳过 lockfile 和代码生成产物这类不是 agent 写的东西，报错信息里还要写清楚怎么把文件拆开。
它不仅仅写在 Agents .md 里面，而是也要写到不需要 AI 的硬性要求中，因为有时候 agent 是不会自觉的。
有很多朋友也许在说：现在都没人看代码了写大文件有什么问题吗？我自己实践过： agent 特别容易把文件写得又大又杂，上下文窗口是有限的，一个文件塞太多，后面再改它时 agent 只能看到一部分 漏改 重复改就都来了。
我遥想之前有当年，某模型直接写了一个小一万行的代码，发现后来他根本就改不好了，各种 bug 和乱改。所以小文件绝对是必要的。
Prompt of the day:
Create a pre-commit hook that prevents files over 5,000 tokens. Tokens = bytes/4.
Run only on staged files. Ignore files which are not authored by agents, like lockfiles or codegen.
Provide explicit instructions on how to split files in the error message.
The simplest investment I ever made in my codebase. So good.
Nobody and nothing retweeted
强烈推荐 Google Research 刚开源的 Harness²。
思路很直接：让 Agent 自己动手改配置——Prompt、Skill、Memory 这些，同一个任务反复跑、对比效果，找到更好用的工作方式。
调出来的经验不会丢，会沉淀下来，后面的任务接着用。
平时做 Agent 的人都知道，调 Harness 是个体力活。如果「自动试错 + 经验沉淀」这套真能跑通，价值不小。
github.com/google-research/h…
Nobody and nothing retweeted
Had fun writing this talk for our MPhil students today:
"How to avoid AI Brain Rot"
Discussing how to avoid intelligence atrophy from AI use in work and study. And how to stand out on an ever-narrowing bell curve
Nobody and nothing retweeted
跟同事讲一个系统怎么跑，画了一张架构图，箭头一多，对方还是看不出请求先到哪、后到哪。
SeeCode 是一个给 Claude Code、Codex、Cursor 用的画图技能，用大白话描述想看什么，它会生成一张会动的图，整张图就是一个网页文件。
鼠标悬停能高亮一条链路，点一下看详情，还能沿着路线一步步走一遍，时序图会一条条播放消息，柱状图会自己长出来。
GitHub：github.com/Aryanutkarsh/SeeC…
一共 45 种图，架构图、时序图、甘特图、桑基图都有，还能画立体的物件，说一句「画一把办公椅」，它会拆出零件标好名字。
页面自带导出菜单，PNG、SVG、GIF、MP4 都能直接存下来，放进文档、PPT 或者发到社交平台都方便。
我挺喜欢它不只画代码这一点，请假安排、工资花在哪、跟房东来回沟通这种日常事也能画，中文标签也会自动换行。
Nobody and nothing retweeted
太夸张了，我刚刚拿这个skill生成了一个缝纫机的工作原理的动画。
缝纫机虽然普通，但解释起原理还是很复杂的。这样不但是展示动画，还可以交互，每一个步骤都清晰的看到，可快可慢。
这样什么复杂问题都可以用他来清楚的讲解出来了。太牛了。
Nobody and nothing retweeted
推荐Yifan大佬的 Agent Infra 开源项目：LayerFS。
多 Agent 并行探索有个很现实的问题：每个 Agent 的文件系统状态怎么隔离、回滚和复用？
LayerFS 用 CAS + CDC + COW 实现低开销的 Workspace 分叉。多个 Agent 可以从同一个状态出发，各自试错，失败的分支直接丢弃，有价值的结果保留下来继续探索。
这两天开通了Claude Code Max，终于把这轮架构重造的几个关键环节啃过去了。才勉强赶上进度。
前几天真的被降智降速版的gpt模型搞得焦虑得不得了。
暂时先不发版了，还有些benchmark优化要做。
期望10天内和大家见面。
github.com/Ephemeral-AI-Lab/…
Nobody and nothing retweeted
我这篇文章的方法论有完整的应用在我自己的开源项目 baocut （github.com/JimLiu/baocut ）上，涵盖系统设计、原型和 UI 设计、编码、验证和发布。
比如说我刚完善了字幕样式的功能，添加了更丰富的字幕样式。
第一件事就是写技术方案文档（参考图1）
Agent 根据我的要求，做了分析调研后，先写成一份技术方案文档，我仔细看了它的文档，然后再提出一些要求，反复几次就能定稿。
参考文档：github.com/JimLiu/baocut/blo…
第二件事就是 Agent 会按照设计稿做原型和 UI 设计（图2）
如果技术设计是为了确定技术方向，那么原型就是确定 UI 和交互，之所以不一上来就改代码，就是因为原型实现成本低，修改起来也容易，你可以很快看到最终是什么样子，Agent 可以很快从你这里拿到反馈。
如果是要直接在最终代码上实现，如果要修改，无论是时间成本还是 Token 成本都会高很多。
注意，原型设计和 UI 设计最好是合二为一，越保真越好，可以保证后续实现的时候不怎么需要返工。所以如果你看我的原型的话，基本上和正式 UI 没啥差别，只是后台接的逻辑代码有差别，原型都是模拟的逻辑代码，很简单，bug 也很多，但没关系。
第三件事才是去实现代码
当技术方案定了，UI 设计定了，实现就相对容易了，如果前期考虑的成分，这里基本上不需要什么返工，可以一次性把功能完成。
第四件事就是测试验收
通常 Agent 会自己帮我验收，我后来把技术栈还是改回了 Electron，就是 Electron 的 App，Agent 通过浏览器就可以验证绝大部分功能，都不用 Computer Use，复杂一点的才 Computer Use 辅助，验证效率很高。
Agent 拿反馈越快，整个 Loop 就会转的越快，开发效率会越高。
Agent 测试完我自己要运行测试一遍，边边角角都试试，重点是测试刚改的这个功能，比如我测试就发现字幕样式预览的文字太靠上了，直接告诉 Agent，让它修复就好。（图3）
最后测试没问题就可以了，这期间大部分活都是 Agent 在干，人重点还是在两头：定义问题和验收。其他的都让 Agent 去做，哪怕调一点样式位置这种小事，节约下来的时间我都够写这样一篇推文了。
