Sniper（躺平版）

I'm so excited that our @theworldlabs team has achieved a major milestone today! Introducing Atlas - a first of its kind multimodal world model trained from scratch! 🚀 Atlas is capable of generating frames with pixel-perfect camera control, reconstructing large scenes from as few as one single input image, simulating space-time by reframing videos, natively outputting 3D spaces from one or more input images, composing multiple posed images into a consistent 3d world, and more! This is the best camera conditioned world model ever, opening doors to many possible use cases from VFX to robotics. I'm so so so proud of our team!♥️

没想到上条帖子被很多朋友看到，索性再整理一些和@FanqingMengAI 录制的播客中的更多 insights 吧： 1/ 模型竞争到最后，拼的到底是什么？ 人才肯花钱就能招（比如我们最近聊下来，发现混元密集招了很多人）；数据肯花钱也能买。那么最后是不是仍然要拼卡，大厂是否会长期占据更大的优势？ 以上因素固然重要，但最后可能要拼组织架构。 大家在技术上拼的东西可能越来越接近，最终比的是谁能把人才、算力、数据和决策机制真正协同好。 （这也呼应了《晚点》前不久那篇关于混元的文章：姚顺雨加入后，混元在组织上进行了一系列调整，至少从那篇报道来看，这轮组织调整可能是混元回到正确轨道的重要原因之一。） 所以，即使大厂掌握着更多资源，也未必真的能吃掉 Kimi、智谱和 MiniMax。 2/ 蒸馏并不是国内模型变强的决定性因素。 我们之前交流过的很多 researchers 都认为，国内模型真正的进步，更多来自资源有限倒逼出来的底层架构和工程创新；蒸馏只是一个加速手段。 即使没有 Claude API，一方面，国内模型已经可以生成合成数据；另一方面，如果真的下决心建设数据基础设施，凭借国内的人力规模，也未必做不出来。 因此，蒸馏可以缩短追赶时间，但并不是国模变强的唯一原因，更不是最底层的原因。 3/国内真正的优势是 Pre-training。这是卡的匮乏倒逼出来的。 Pre-training 更拼少数研究员的聪明才智；Post-training 则更吃工程、数据积累和组织协作，需要大量人力和长期沉淀。海外公司开始得更早，因此在 Post-training 上其实更有优势。 4/ Post-training 背景的人，比 Pre-training 背景的人更容易创业。 逻辑很简单：Pre-training 非常吃资源，初创公司很难 cover 相应的成本。而 Post-training 的创业方向相对明确：一是做数据，二是做平台类的事情。后者有点抽象，可以简单理解成做 Benchmark 和 Eval。 5/ 模型持续变强，甚至未来 Self-evolving RSI 取得进步，也不一定会直接吃掉第三方的机会，尤其是在垂直领域。 拿 Harness 来举例，且不说这一层会不会越来越薄（@istdrc 就认为 agent harness 会越来越厚），即便会变薄，模型也未必能完全吃掉这部分空间。 一方面，未来并不是所有需求都必须调用最顶级的模型。（事实上，大多数普通用户已经很难感知新旧模型之间的能力差异。） 另一方面，垂直场景里仍然存在安全、隐私、工作流和行业知识等需求。 6/ Benchmark 和 Eval 在发生变化。 以前主要考 AI 会不会做题，现在还要考 AI 会不会做事。 比如，AI 能不能真正用好飞书、Notion，能不能进入一个真实的软件环境，把一项任务从头做到尾。 7/ 训练模型的门槛已经大幅降低，技术往往会向更简单、更直面结果的方向收敛。 比如在 Pre-training 领域，从 Transformer 架构到 rule-based RL 这类训练方法，最后真正有效的方案往往都很简洁。 Post-training 可能也会经历类似的过程：大家越来越不需要纠结具体的算法，最后还是要回到最本质的问题——有没有高质量的数据。 8/ 模型对数据的需求，大致经历了三波： 第一波是 Scale AI 式的普通人标注； 第二波是 Mercor 这类专家数据，对应 o1、DeepSeek-R1 之后提升模型推理能力的需求； 第三波是合成数据，以及带有真实操作轨迹的人类数据。 第三波之所以兴起，是因为模型开始强调 Agentic 能力。模型不仅要会回答问题，还要真正上手做事，因此需要搭建大量环境，或者把真人操作软件的完整轨迹保存下来。 这些数据的成本并不低。一条高质量的专家数据可能卖到 1000～2000 元，一些复杂的合成数据甚至要几千元。 模型厂仍然愿意购买，一方面是因为现阶段数据依然多多益善；另一方面，完全由自己生产的数据，很容易带有内部团队的 bias。 不过，合成数据这一波可能已经走到中后期。下一波机会可能是 RSI 数据，比如用大模型训小模型过程中产生的训练轨迹。但这件事的门槛更高，需要真正懂模型训练的人参与。 9/ 下一阶段一个比较有共识的方向，是 Auto Research / Self-evolving / RSI。 它们要解决的问题是：给模型一个工作环境和一个目标，它能不能持续行动，根据结果反馈不断调整之前的策略，最终突破原本的能力上限？ 10/ RSI 可以被理解成一个更聪明版本的 DFS。 DFS 遇到死路，就回溯到上一个节点；RSI 也类似。比如，模型写了一个 GPU kernel，得到评分后，如果发现结果不好，就回到前面的节点，换一条路径继续探索。 区别是，在 RSI 里，什么时候回溯、回到哪里、下一步走哪条路，更多是由 LLM 来判断的。 而所谓「更聪明」，很大程度上就体现在剪枝：让模型少走明显错误的路，把算力集中在成功概率更高的方向。 11/ 如果 RSI 真的成立，一个很自然的猜想是：创业公司能不能利用 RSI，直接训练出更好的基模？ 但这个方向可能并不成立，主要有两个原因： 1）RSI 的训练和评测，本来就是模型厂自己在做的事情。创业公司更应该寻找与模型厂正交的机会。 2）RSI 能否继续进步，取决于两件事：一是世界知识和 Value Model；二是 Context 窗口能否变得更长。前者决定模型记住了多少东西，后者决定模型能不能回溯到更远的地方。这两件事都不太是创业公司应该做的。 12/ 最近有一种说法很流行： 「算法就是数据，数据就是 infra，infra 就是算法。」怎么理解？ 算法就是数据，是因为算法最终可能会收敛到相对简单的形式，差异越来越多地体现在喂给模型什么数据。 数据就是 infra，是因为数据有没有价值，取决于基础设施能否把它高效地组织和利用起来。 Infra 就是算法，是因为模型尺寸变大以后，GPU 并行、Context 并行和训练效率，会反过来决定哪些训练方法真正可行。 13/ 蒸馏也分水平高低。 「硬蒸」的环境很简单，比如只是让模型回答数学题。 更有技术含量的蒸馏，一方面需要造出足够复杂、接近真实世界的环境，并完成可靠的 Eval；另一方面，要给模型出足够好的题，并设计出正确的评分标准。 （Btw，最近字节一直强调自己不做蒸馏，可能是因为蒸馏相当于抄近道，而抄近道有时也会让人错过探索过程中产生的 insights。） 14/ AI for Science 火起来的原因之一，可能是模型已经没有太多方式证明自己的智力了。 以前是卷做题，后来卷奥赛，现在开始卷诺贝尔奖。 当 Benchmark 一路被做穿，科学发现就成了新的 Benchmark。 【完整收听链接】 小宇宙: xiaoyuzhoufm.com/episode/6a7… Spotify: open.spotify.com/episode/77b… Apple Podcast: podcasts.apple.com/cn/podcas… 最后，北京时间 8 月 22 日上午 10:30，我们会请繁青来办一场线上活动，还会有数十位 model researchers 参加。 活动免费，欢迎非投资背景的朋友报名，一起来交流、认识新朋友～报名链接：my.feishu.cn/share/base/form…