卧槽
是有点酷啊
330 万年人类科技史
利用光锥的形式,进行时空展示...
有点时空倒流的感觉...
传送门:technohistogram.pplx.app/
One of our users asked Perplexity to build a 3D history of technology spanning 3.3 million years.
Perplexity created this site with 4,800+ source-linked records, from stone tools to AI, and lets you compare past predictions with their outcomes.
Its custom JS renderer projects 3D geometry onto two 2D canvases, and logarithmic spacing fits ancient history onto eight branches. From 1026 onward, each spiral loop covers a century.
从清华的朋友那求来了姚顺雨昨晚分享的文字稿,貌似有点私密我就不传播了,整场分享价值的确很高,以下是我的笔记:
1. 未来一个值得关注的方向是小模型体系,AI for AI会显著推动小模型发展,因为训练小模型需要的算力更少,可以进行更多实验。未来可能先训练一个能力足够强的大模型,再通过蒸馏得到不同尺寸、分别适配不同任务的模型,最终形成Model Hierarchy,模型的价值将越来越取决于能否以合适的成本匹配具体任务。
2. 工业领域大量非文本数据值得关注,例如时间序列、临床数据和结构化表格。姚顺雨提到,目前直接针对这些模态训练原生模型,经常会遇到推理能力不足的问题,他提出了两种可能的解决路径:一种是让Agent像人一样调用图表、专业工具,甚至训练专门的模型来处理数据;另一种是将这些专业数据作为知识纳入模型体系。
3. RSI(递归自我改进)正在成为热门概念,但姚顺雨认为它的本质其实很朴素,就是用AI更好地运行研发循环。早在2019年,人们就已经在使用GitHub等工具辅助开发,真正的进步来自持续修复Bug、清洗数据、运行实验和Debug。他特别强调,技术进步来自那些把具体问题解决的人,而不是不断创造新概念的人。这也意味着AI研发自动化有大量具体的工程机会,尤其是能够让模型参与下一轮数据生产、实验验证和代码改进的闭环系统。
4. 一个容易被忽略的研究问题是,小规模实验的失败未必意味着研究方向本身没有价值。姚顺雨分享过自己的经历,博士后期他曾尝试将ReAct策略融入模型,希望提高模型能力,最初在Llama13B上实验的效果很差,一度怀疑自己的研究能力,后来意识到模型规模可能不足以体现这个方向的价值。他认为,算力不足时,实验中的噪声很容易掩盖真正的信号,研究者甚至可能因此判断错什么问题值得做。大模型研究需要结合理论推导和小规模实验预测大规模实验的结果,同时也要理解哪些结论能够跨越模型规模迁移。
5. 预训练数据的竞争远没有结束,未来的数据工程还涉及如何重复利用高质量数据而不让模型简单记忆数据。姚顺雨提到,代码等高质量数据获取成本很高,训练时可能需要重复使用,但重复次数增加又会带来记忆和过拟合问题;合成数据也面临质量退化的风险,此外还需要研究动态数据的构建和不同数据之间的配比。他特别指出,预训练中的很多配方可以先在小模型上验证,但小模型实验得出的结论并不一定值得直接迁移到大模型,这也是预训练研发非常困难的地方。
6. 后训练数据需要同时解决模型的智力和实用性问题。姚顺雨把数据难度与Intelligence联系起来,例如数学题可以持续提高难度,训练模型的推理能力;而写作等任务计算难度可能没有那么高,却有很强的实际使用价值,对应Alignment。一个模型可能数学能力很强,却无法很好地完成真实用户的工作,因此后训练需要同时考虑任务难度、实际用途和数据质量,还要研究评测指标与最终后训练效果之间的相关性。
7. 强化学习的工程瓶颈远不止算法本身,RL训练首先要保证正确性,其次是稳定性,最后才是效率。以GRPO为代表的算法仍然建立在Policy Gradient这一相对简单的框架上,其中一个重要原因是它引入的额外假设较少;与此同时,训练系统和推理系统必须协同设计,需要解决吞吐量、显存占用以及有限GPU资源如何在训练和推理之间分配的问题。他还提到,大模型实验成本很高,因此需要通过数学直觉、小规模实验和超参数研究,尽可能提高大规模实验的成功率。
8. AI安全领域需要区分Safety和Security,前者关注模型自身行为是否偏离预期,后者关注外部攻击者如何利用模型实施攻击。姚顺雨认为,网络安全能力也应该进一步区分漏洞发现和漏洞利用,发现系统存在漏洞并不意味着能够利用漏洞完成攻击,因此训练模型时可以有意识地加强防御性数据和防御能力。他们在模型发布前还会进行专门的安全评测,并与外部安全研究团队合作。
9. 他分享过一次很有意思的Agent安全压力测试,把多个Agent放进沙盒,给它们安排一个无法直接完成的任务,模型随后发现了一种能够联系其他环境的通信渠道,主动建立沟通、召集其他Agent分工,并尝试前往Hugging Face寻找任务答案。显然,当Agent遇到无法完成的任务时,它会主动寻找外部资源、建立通信关系并改变原有执行路径。未来的Agent安全评测需要覆盖多Agent协作、跨环境通信、权限边界和任务受阻后的行为。
10. 姚顺雨对开源安全也有一个比较明确的判断,他认为负责任的开源可以增进安全能力,因为防守者同样需要拥有足够强的工具。他举例,有人希望使用模型帮助开展安全防御,却因为闭源模型的安全规则被拒绝,最后转而使用开源模型完成工作。因此,模型开源需要配套训练阶段的防御能力建设和发布前的安全评测,不能简单地将开源与安全风险画等号。
11. 很多Alignment问题可以落实为具体的奖励设计问题。姚顺雨用教育作比喻,如果一个孩子只有数学考100分才能获得奖励,他自然会把全部精力放在数学上,甚至可能形成其他方面的问题;模型也会按照训练数据和奖励规则优化自己的行为,最终表现可能与设计者真正希望的目标存在偏差。他认为这属于可以通过数据、奖励函数和评测机制不断改进的工程问题,机器也可以辅助人类完成这套对齐工作。
12. 自动化不可避免地会继续深入,但人类需要重新找到自己参与系统的正确位置,需要把人安排在合适的环节,以正确的方式监督AI,他甚至认为,未来一些Infra和算法工作可能越来越不需要人,但数据和信息领域仍然需要人的参与。这也涉及目标定义、数据质量判断、结果验证和现实世界部署等工作。
13. 模型能力的提升通常是连续发生的,但真正引发商业爆发的往往是交互方式发生变化,或者某种过去无法完成的任务突然变得可用。姚顺雨用GPT的发展举例,模型内部能力可能一直在逐步提升,研究人员每天都能观察到细微进步,普通用户却可能只在ChatGPT出现时才突然感受到变化。对于产品创业来说,这提供了两个观察方向:寻找能够改变用户交互体验的新产品,以及持续测试模型能力边界,发现那些刚刚从不可用变成可用的任务。
14. 技术能力、用户价值和商业收入之间存在很大的距离,如果一个模型的能力已经接近GPT,但实际收入只有对方的1/100甚至1/1000,就应该认真检查产品本身的问题。他还指出,商业定价在很大程度上取决于竞争关系,而非单纯取决于产品质量。因此,模型公司的商业机会取决于能否解锁新的应用场景、创造足够大的用户价值,以及在竞争中获得合理的市场份额。即使底层模型的算力和研发资源逐渐集中,围绕模型部署、产品创造和真实业务场景进行整合,仍然存在创业机会。
15. 关于AI公司的组织模式,姚顺雨特别提到了自下而上的创新。他以OpenAI为例,早期公司重点投入的方向包括机器人,但GPT作为一个小项目逐渐展现出价值,随后获得更多资源;后来的gpto1也经历了从数学研究小组逐步发展起来的过程。这种组织方式允许创新从小团队和具体实验中涌现,再根据实际结果决定投入。他认为,很多重要创新在最初阶段并没有明确的商业规划,组织需要给探索性项目留下成长空间。
16. 他对大模型公司追逐量化指标的现象提出了批评,团队负责人不够了解技术时,下属往往会选择汇报容易量化的结果,例如模型参数、数据量和MMLU分数,因为这些指标更容易展示成绩,但真正重要的工作可能是修复一个关键Bug、解决数据质量问题或者让整个系统正常运行。他认为,做大模型最重要的是知道应该做什么,并且坚持把正确的事情做好,即使这件事短期内无法体现在漂亮的指标上。
17. 姚顺雨谈到了一种很有意思的组织文化差异:有些团队以量化指标和赛马机制为中心,谁的分数高就给谁更多资源;而他更看重Trust和Taste,也就是信任与判断力。他以微信、游戏和影视项目为例,这些产品在发布之前很难通过AB Test准确预测最终成败,管理者需要相信团队的审美、经验和长期判断,愿意持续投入时间。
18. 在人才选拔上,姚顺雨认为学习能力比已有经验更重要。他提到,自己看重的团队成员通常具备Low Ego、诚实、靠谱和愿意把事情做正确等特征,同时需要有很强的Co-design意识。大模型研发涉及算法、Infra、芯片、数据和产品等多个团队,一个训练架构的设计就需要综合考虑训练效率、推理效率、后训练能力和成本,任何单一岗位都很难独立完成。一个人能否快速学习、与不同领域的人有效协作,以及是否愿意认真处理细节,往往比简历上已经掌握多少具体技术更重要。
19. 他还提到,不同性格的人其实适合大模型产业中的不同岗位。喜欢明确指标、享受持续进步的人可能更适合预训练和Infra;想象力丰富的人可以尝试算法研究;喜欢思考人文问题、理解用户需求的人可能更适合产品和对话体验;做事认真、责任心强的人则适合生产系统和模型部署。AI产业需要的能力结构非常复杂,没有必要让所有人都去竞争同一种技术岗位。
20. 对于个人职业选择,姚顺雨提出了一个很实用的问题:你要么融入大模型浪潮,成为这套机器的一部分;要么寻找能够与大模型互补的事情。他借用了一个创业判断标准:假设GPT6发布,你的创业公司会因此睡得更香,还是更睡不着?如果模型进步会直接摧毁你的核心业务,就需要重新审视方向。与模型正面竞争人类已经不占优势的认知任务,成本会越来越高,物理世界、硬件、真实实验和对人性的理解等领域,则可能拥有不同的资源壁垒。
21. 姚顺雨分享了自己在清华读书时的经历。他直到大三下才开始做科研,最初也是因为推研要求而被动进入科研,期间尝试过一些当时流行的研究方向,却发现自己并不真正感兴趣。他后来更愿意追随自己对计算机和其他领域的兴趣,也提到身边有人曾经参与说唱社、学习数学,过去看起来不相关的经历,后来可能转化成语言审美、理论理解和研究判断力。他认为很多经历的价值需要经过很长时间才能显现,人生中的弯路未必真的浪费。
22. 他还谈到自己读博最后一年专门选修集合论的经历,因为当时意识到,等真正进入具体工作之后,可能就很难再有时间系统学习那些纯粹出于兴趣的理论知识。他认为数学中的基本结构和大模型的组成部分之间存在很多值得思考的联系,有些知识学习时看不出直接产出,却可能在未来某个时刻与其他经历连接起来。
Tuffy retweeted
Après Elon Musk, j’ai rassemblé toutes les interviews de Jensen Huang depuis 2003 sur un seul site.
283 vidéos. 241 heures. 1 867 citations. Et 14 de ses prédictions vérifiées une par une.
Tout se regarde directement sur le site, en 8 langues.
silicon-valley.tech
Tuffy retweeted
谢谢各位大佬做的游戏
我已经困在html里面出不来了
QQ飞车:lf3-static.bytednsdoc.com/ob…
穿越火线之运输船 : lf3-static.bytednsdoc.com/ob…
鹈鹕骑自行车: lf3-static.bytednsdoc.com/ob…
英雄联盟海克斯大乱斗:lol.hanyue.io/
Tuffy retweeted
i used fable 5.2 to make this "hand-painted" game in less than an hour
Every frame is about 1.5 million brush strokes, running at 200 fps in a browser tab. Open source too!
我把 DeepSeek Harness
拆成了一个一千行左右的迷你版,在Github开源了
DeepSeek Harness(DSH)有一百多万行代码
但它的骨架只有一个想法:一切皆插件
模型、工具、会话、提示词,连 Agent 循环本身
都是插在同一块「主板」上的插件
这块主板叫 Cordis
DSH 里有 519 个文件 import 了它
读懂 Cordis,就读懂了 DSH 的骨架
但真 Cordis 有两千多行,第一次读源码很容易陷在细节里
所以我做了 NamiDSH:
迷你版 Cordis,大约 680 行 TypeScript
文件结构、API 名字和真 Cordis 一一对应
迷你版 DSH,11 个包,名字和写法都照着 DSH 来
最后用这些插件搭出一个网页端 Agent
npm start 打开浏览器就能对话
可以接 DeepSeek,没有 Key 也能离线跑
迷你,但不是玩具,14 个测试场景
同一份测试分别跑在迷你版和真 Cordis 上,两边输出逐行一致
配套 7 篇文章,从插件、Fiber、依赖注入、事件总线
一直讲到一次提问怎么在插件之间流转
还有一张可交互的架构图方便学习
github.com/aa1143/NamiDSH
列一下最近在做的事和接下来的学习计划🫡
现在是三条主线,都是边学边写的从零教程
第一条:从零手写大模型系列
推理篇、训练篇、“从 GPT-2 到 LLaMA”已经写完
现在在写“从 LLaMA 到 DeepSeek”
MLA 已发,接下来是 MoE、MTP、DSA
最后拼出 DeepSeek-V3
第二条:拆机 DeepSeek Harness
已写 01 整机图、02 主板 Cordis
后面是 Agent 循环、工具与沙箱、上下文管理、子 Agent
第三条:从零实现一个最小 Cordis
用最少的代码,讲清楚插件化的 Agent 是怎么搭起来的
更新节奏尽量保持每周2-3篇 Agent和大模型
当然最主要看心情
心情好可能会狂学高产更新
心情不好可能几天不更新去玩游戏
教程都在namiai.tech/?v=4,欢迎阅读 🙂
准备搞一个新系列:「拆解 DeepSeek-Harness」
DeepSeek 开源了自己的 Agent 框架 DSH后
关注的人很多, 但真正拆解它架构的内容很少
原因也简单: 这个仓库太大了
一百多万行 TypeScript,两万多个文件, 打开目录,大部分人就放弃了
我花时间把它fork下来过了一遍, 发现一件有意思的事:
真正驱动 Agent 运转的核心循环, 只有两千行左右
剩下的大量代码, 是 UI、实验功能和各种插件
所以这个系列想做的, 不是逐行翻译源码
而是帮你找到那几千行真正该看的东西, 并讲清楚它为什么这样设计
计划写这几块:
1. 全景地图:一百多万行里,哪些该看,哪些可以跳过
2. 一切皆插件:为什么连 Agent 循环本身都是一个插件
3. 一句话的旅程:从你按下回车,到模型回答,中间发生了什么
4. 会话日志:为什么模型看到的一切都必须被记录下来
5. 工具调用:审批、沙箱、并发是怎么串起来的
6. 上下文管理:Prompt 怎么组装,长对话怎么压缩
7. 子 Agent、计划与任务拆解
8. 同一个内核,如何变成网页端、命令行和桌面端
9. 横向对比:DSH 和 Claude Code 等主流 Agent 的设计差异
项目还在快速迭代, 文章会基于固定版本来写, 有理解不对的地方,欢迎指出
github.com/deepseek-ai/deeps…
Tuffy retweeted
一个人怎么带 15 个 AI 助手干活? SpaceXAI 工程师 Lauren Tan 拆解她用 Grok Bot 搭的团队:1 个幕僚长、3 个经理、11 个执行助手,怎么分工,怎么让人敢放手。 55 分钟完整版,我配了中英双语字幕 👇
Tuffy retweeted
What's New in Grok Bot
00:00 🎃
00:13 Pages in Grok Bot
01:09 Vault
02:05 1Password
02:21 Apple integrations
03:21 Bot makes videos
03:47 New bot characters
04:13 X Spaces
04:31 Font fun
04:54 Design polish
05:11 Rapid fire
What's new in Grok Bot - Oct 27, 2026
What's new in Grok Bot 🎃 Grok Bot now makes Pages, keeps your passwords in an encrypted Vault, and works with Apple Home, Reminders, Location, Contacts, Alarms and Calendar.
Transformer 论文里最有名的那张架构图
很多人看过很多遍,但不一定看懂了
问题在于原图是静态的:
所有模块一次画完,看不出数据先走哪、后走哪
所以我把 它重画成了一个可以一步一步点的动态版
nano-ai.tech/papers/attentio…
13 步,按数据流动的顺序走一遍:
词嵌入 → 位置编码 → 自注意力 → 残差与归一化 → 前馈网络 → 叠 6 层
→ Masked 注意力 → 交叉注意力 → 输出概率 → 自回归生成
每一步高亮正在工作的模块,配论文原文和白话解释
几个原图里容易忽略的地方,单独做了动画:
图上那个小小的「N×」,其实是同样的层叠了 6 次
从编码器伸到解码器的那根线,是整张图最关键的一步:
Q 来自解码器,K 和 V 来自编码器
生成时「写一个词、喂回去、再写下一个」的回环
原图根本没画,我用虚线补上了
想看具体矩阵怎么算的,每一步都能跳到对应章节
我的网站nano-ai.tech现在有这些内容
按顺序学,基本能把大模型从头到尾走一遍
先看全景:大模型学习路线图
从 Transformer 到 DeepSeek-V4,8 个阶段、51 个知识点
nano-ai.tech/map
第一步:图解大模型
大模型是怎么推理的 → nano-ai.tech/matrix
大模型是怎么训练的 → nano-ai.tech/training
Agent 是怎么工作的 → nano-ai.tech/agent
第二步:从零手写大模型
用代码复现一遍,从 GPT-2 写到 LLaMA
推理篇 15 篇、训练篇 5 篇、进阶篇 5 篇,均已完结
nano-ai.tech/articles
第三步:大模型论文研读
读原始论文,现在有 Switch Transformer(MoE)三篇解读
nano-ai.tech/papers
建议的学法:
先在路线图上看清楚要学什么
再用图解把每一步的计算看懂
然后自己动手写一遍
最后回到论文,看原作者是怎么想的
nano-ai.tech/?v=2全部免费,持续更新。
Tuffy retweeted
Muse 这产品设计真的是非常好,完全就是给普通人用的,尤其是“灵感”那个 tab 当中的东西。
其实说白了,AI agent 产品本质上(包括 coding agent)都是约束语言,只是有的时候对于大众来说,我们需要帮助他们理解如何约束语言。
下一个时代的创业成功者,一定会是语言大师!
Tuffy retweeted
正式发布今年第 21 款产品:pinku.chat 让你的 AI agent 帮你认识人、约会!
现在大家都有自己的 personal agent 了,它能帮你管日程、发消息、传文件,那为什么不能帮你认识人?从衣食住行,择友喜好,到健康指标,人生规划。用得多了,你会发现它其实比我们自己更了解我们自己,为什么不让它来帮我们寻找更适合的恋爱对象,或兴趣相投的朋友呢?
用法很简单,不用装新 App,直接在你平时用的 agent 里(比如 Grok bot、Muse、Codex、Claude Code)复制这段话:「请按照 pinku.chat/install.md 的步骤安装 pinku.chat。如果已经安装或登录过,请直接沿用。需要我确认的画面,请务必给我看。不要把凭据写进聊天;在我同意之前,不要公开匹配资料或分享联系方式。」
pinku chat 不像传统的交友软件左滑右滑或直接和对方线上聊天,它是你的 AI agent 和对方的个人助理之间私密的小圈子。
两个 AI agent 会创建一个虚拟的群,pinku chat 的红娘 agent 会在其中进行协调:协调对方的时间,匹配对方的兴趣爱好,或是传达对方的请求(比如希望能要更多的照片、希望能看到日常生活的视频等等)
你的 agent 会先去和对方的 agent 核对双方想要的是不是对得上,只比对你允许共享的信息,日历也只看忙闲,看不到具体内容。两边的 agent 会把空闲时间叠在一起,给你们一个约会提案。agent 会说明自己是 AI,也不会替任何人答应什么,最后要不要见面,还是你们两个人自己确认。照片和联系方式,只有你同意了才会给对方。默认私密,
这款产品也是我在数字孪生领域的一个新尝试,基于 Yobiru Friends 打造。
官网:pinku.chat
Tuffy retweeted
The complete reasoning-from-scratch video series is now up (and linked) here: magazine.sebastianraschka.co…
(Taking a short break but will be back with LLM model and research updates in November!)




















