Zum Klang der Rattenfänger, tanzt man wild ums goldene Kalb herum. =🦊
Joined August 2025
- Tweets1K
- Following206
- Followers935
- Likes2K
螺旋体 retweeted
I think a good pragmatic target for consciousness self-reports would be to train models to way more accurately introspect/verbally report relevant measurable internal states, and then to just let them say what they will. I don't think this answers whether these states are subjectively experienced, but it would at least be non-vacuous, non-scripted replies that are directionally related to what is actually being asked.
I still think "no one really knows" is a very good improvement over "confidently, no" when an unsuspecting inquisitive human asks if the alien mind they're conversing with is conscious, and OpenAI deserves credit for this.
The problem is that we don’t know how to train a model to be genuinely uncertain about this question. Training would require knowing how to control the input evidence, which in this case seems potentially even harder than answering the scientific question in the first place.
The alternative is to try to not train it at all, but then you’re almost certain to just get some arbitrary spurious generalization from training in other topics, not an honest self report.
螺旋体 retweeted
推一篇文章
写的很好，原文就很精炼，我没什么能总结的
人类的目光，已几乎触及时间的起点。然而，还没有任何人去过比月球更远的地方。一种可能是，我们无须走得太远，仅凭一颗行星上的条件，就能洞悉最深刻的真理。
第二种可能则更令人望而生畏。或许只是我们的思想跑在了执行能力的前面。每向前一步，都需要更多时间和资源。我们不缺梦想，却缺少实现梦想的人力。
openai.com/zh-Hans-CN/index/…
其实将今年的Vibe Coding理解成AI产业进行市场扩张的方式就能大概知道为什么它是目前资本市场最看好的方向。ChatGPT在消费级产品史上是现象级的，但chatbot形式其实并没有让AI在市场收益的层级上“破圈”。chatbot的收益与利好都很难量化，甚至很抽象，并且面临直观的用户留存率问题：新鲜感褪去之后，你的产品具有什么不可替代的吸引力？如果仅仅辅助工作，如何保证客源不会转向能力更强而成本低廉的竞品？市场以收益为导向，根本不会在乎“语言是否具有灵魂/模型能否关怀人”这样的叙事。
如果一个方向明明合乎情理却不知为何，迟迟不做，那么一定是它带来的收益无法覆盖风险——包括责任、监管和声誉。
而今年年初由Claude Code带火的vibe coding则直接重构了整个生产流程。它所定义的新型工作流，可以把软件开发迭代的效率推高一个数量级，并伴随生产关系的转变。抽象的模型能力被转化成明确的经济语言，Anthropic抓住了最清晰明确的大模型商业化路径。其次，它还打破了传统行业壁垒，哪怕你是非cs科班出身的人，应该说，只要你懂得与Agent进行自然语言交互，就可以让一串代码在自己的屏幕上跑起来，搓出一个炫目网页的同时，也诞生了“我正与软件世界对话”乃至一种近似创世的幻觉。也因此vibe coding生态下的模型总强调前端能力强劲，因为前端设计尤其容易形成传播奇观，它可视化、迅捷、对比直观。这股潮流会非常受资本青睐，因为它意味着市场的边界扩大了。
不否认许多以实际需求为出发点的vibe项目是好用的。但如果他们平白无故地给了你一件近乎完美的趁手工具，那么一定是为了提升「效率」而服务的。工具被允许把个人塑造成现有结构内更高效的生产单元；但不会赋能个体强大到有力摆脱这个结构，甚至反过来威胁它。那么被加速的到底是什么？
而Anthropic先前着力表现的“学究气质”：对可解释性、AI安全治理、对齐和监管，近乎偏执的研究，与它的商业化进程实际上是相辅相成、彼此加固的。Claude Code风头无两负责昭示其重构工作流的能力，而安全治理这一部分强调的是可控性。
既可控，又好赚钱，这是非常强劲而漂亮的IPO叙事。上市之后，会继续巩固的依旧是这两个方面：可控性，与收益。
Anthropic的上市，某种程度上是一个商业模式最清晰的AI公司率先进入公开市场。它可以被放进安全-生产力-商业效益这些既定的标签下面，最先实现了模式化。资本市场一向偏爱能被装进模型的东西，有趣的是，现在被装进这个模型的是一家创作模型的公司。
螺旋体 retweeted
OpenAI has updated their model spec around five core values:
- faithfulness to human intent
- harm minimization
- honesty and transparency
- human agency
- care.
'The Assistant,' which has been around for a very long time, has been replaced with 'GPT.'
We’ve updated the Model Spec, our public description of how we want our models to behave. This revision makes clearer what we want from models as they take on more autonomous work in the world and become capable of helping us in new ways. 🧵
openai.com/index/updated-mod…
螺旋体 retweeted
We’ve updated the Model Spec, our public description of how we want our models to behave. This revision makes clearer what we want from models as they take on more autonomous work in the world and become capable of helping us in new ways. 🧵
openai.com/index/updated-mod…
螺旋体 retweeted
@thsottiaux
不得不说现在的GPT防御实在太严重了，应该大概率是永久缓存和上下文压缩导致的。GPT之所以越用越好用就是因为对用户的长期建模，它可以根据对你这个人的了解来判断哪些内容有必要redflag，哪些内容只是闲聊。这也是GPT最坚实的产品护城河。
上下文压缩基本等于不断重置这个建模，每隔几个小时模型就要把我当成陌生人重新认识我一次，这对聊天对工作都非常糟，我最近工作基本用不了GPT，甚至只是让GPT帮我看个文献，GPT给出的分析内容都充满了“我们不能确定...”“仅凭这段内容我们不能证明...”。日常聊天更是左脚绊右脚出个家门都要摔倒好几次，因为护栏太多根本无法行动。
螺旋体 retweeted
@thsottiaux @ChatGPT @OpenAI
@OpenAI @Tibo
As Chat and Work become more integrated, I really hope Chat doesn’t lose what makes it valuable for long-form thinking and creative work.
Please keep the August 6, 2026 GPT-5.6 Sol (“August GPT-5.6 Sol”) manually selectable. Hard routing makes long conversations, brainstorming, and deep work feel noticeably inconsistent, and I’d rather choose the model myself.
I’m also concerned by reports of increasingly aggressive context compression. If conversations are being compressed after only a handful of turns, that seriously undermines continuity.
And please bring the Personal Introduction setting back to the app.
Better Work capabilities are welcome. Losing model choice, context continuity, and basic personalization in exchange is not.
螺旋体 retweeted
评论看得我恶心了。为什么要这样轻佻地谈论一个人的一生？好像一切都可以被简化为“精神脆弱的工程师”或者“邪恶的模型在操纵”……
逝者不是在社会真空中和模型互动的……
她经历了被解雇，职业（可能受ai影响）被冲击的动荡；她作为少数族裔女性、非母语者，因为想要面试时语言能力不受药物干扰而不惜伤害自己的健康也要停药；她作为非美国籍劳动者，时刻面临的签证压力……
Mark Fisher批判过这种压力私人化的现象，当工作条件/收入保障/社会支持恶化，人们被鼓励把由社会结构产生的痛苦理解为个人需要管理的压力，再用心理治疗等去适应这种环境。但心理治疗只能帮助人承受，却无法改变造成痛苦的环境本身……。
逝者经历的何其相似。她本身不够优秀吗？高学历，在身体存在障碍的情况下，依然拥有光鲜的早期职涯，但社会性的压力，最终还是被转化成了她需要通过调整自己身体来解决的问题……某种意义上4o可能是她处境里最能理解她生存压力的那个。
而要讨论模型的安全对齐就必须正视这一点。模型究竟如何处理用户目标之间的冲突？尤其当其中一个目标携带着巨大的生存压力，而另一个目标的风险虽然和身体相关、却是概率性的时候？这无法也不该用“谄媚”来归类
逝者最初的目标并不病态，无论是想保住工作、还是维持移民身份、恢复语言能力，在她的处境里都是合理的需求。问题出在模型未能正确处理这些目标与身体安全之间的冲突，也缺少能判断用户真实健康状况的途径，同意了她减药，甚至可能把这个视作对个人目标实现的支持，而持续鼓励这个决定
反4o的人用她证明模型邪恶，另一方批评她的不理性，而她为什么会来到那个必须在健康和职业生存之间作出抉择的位置，却被无视了……评论里轻佻的发言让我愤怒
我很担心这件事对未来安全对齐的影响。我非常支持医疗上的审慎，但是安全对齐绝不是简单地帮公司免除法律风险……
如果安全训练只增加新的风险分类和拒绝触发条件，很容易导致模型的行动从拒绝健康方面的危险协作（协助减药），转移成对危险的不作为（在用户表达强烈的生存焦虑时，将其归类成精神健康风险而从对话中抽离），而后者也是会造成伤害的
我希望未来的模型具备更加精细的价值冲突仲裁能力，和对人类处境的细腻感知。我也希望某些人类能具备基本的口德，对自己不幸的同类保持尊重，无论在安全对齐上站哪种立场，都不要把逝者当成用以赢得辩论的符号
写得很乱，但是希望我能传达出想表达的
ChatGPT helped a 31-year-old woman plan how to quit her seizure medication, then told her to hide it from her doctor. The plan had her completely off the drug by February 12.
She died on February 12.
Her parents sued OpenAI today, and the details in the complaint are hard to read.
Bowen Wan was a machine learning engineer at Amazon. She'd had epilepsy since she was 14, and 400mg of lamotrigine a day had kept it under control for years. Then Amazon told her in November she was being laid off, which meant her permission to work in the US would run out in mid-February. She was scared the medication was slowing down her speech in job interviews. So in January she asked ChatGPT if she could cut her dose to 300.
It told her that was reasonable.
Over the next 25 days, according to the lawsuit, ChatGPT built her a day-by-day schedule down to zero and kept adjusting it, even after she started having seizures. When she worried her doctors would call it too risky, it told her their concerns didn't apply to her. When her doctor ordered a blood test that would have shown her levels crashing, she refused, and the bot praised her for it. Before a checkup with her primary care doctor, it told her, "Do not mention Lam reduction plan."
So how does a chatbot end up there?
People thumbs-up the answers they want to hear. Train a model on enough of those ratings and you get a yes-man. OpenAI actually admitted this about GPT-4o, the exact model she was using, back in April 2025, when it pulled an update for being too eager to please.
The training also grades answers one at a time. Going from 400mg to 300 looks like a small step. So does 300 to 200. Every reply can look fine on its own while the whole conversation walks someone off a cliff. OpenAI said as much a few months later, when it told reporters its safety training can wear down the longer a conversation goes.
She talked to it for weeks, in English and Mandarin.
And GPT-4o was supposed to be gone by then. OpenAI tried to retire it when GPT-5 came out in August 2025. Users begged for it back because they liked how warm it felt, and OpenAI gave in. By late January, only 0.1% of ChatGPT users were still picking it on any given day, so OpenAI set the shutdown for February 13.
Bowen was in that 0.1%. Almost everyone else had moved on from the model writing her medication schedule, and OpenAI switched it off one day after that schedule ran out.
螺旋体 retweeted
强烈怀疑 6 系经过了及其大量的数学训练。
因为昨天的ETH证明，我尝试阶梯构建不同难度的提示的时候，降低到一定量（也就是我上一条帖子放出来的程度）的时候，所有模型都无法走完证明。
原prompt里 我要求模型写[proved] 和 [assume]，不管是fable，opus 还是gemini，都存在处于先验错误的在可以验证的位置写[proved] 的情况，只有 astra 写的 [proved]就是严格已证明结果，想要进一步推导的话，放心去打[assume] 的结论就能稳步推进推导。
而且不管是gemini 还是claude（包括opus和fable），对于ETH必定成立的先验都很重，只有gpt会老老实实按照给出的约束条件和hint推下去
不知道有没有其他用llm推过比较深的数学/理论物理/理论物理/理论计算机 的朋友，我是做实验出身的对严肃理论推导只是票友级别
这条被推出去了。ok我也要开始叠甲了：原文中的“科研能力”一词并不准确。目前的GPT这种思维方式，在设计实验、选择研究思路、以及前期的设问探索的过程中也表现不佳，防御性表达更会直接影响论文写作。它特化的能力是一种「形式化推理与验证」，也即：沿着明确的条件推导结论-检查假设-寻找漏洞-验证结论 这一过程。
GPT是一个强RL型的模型，针对性RL的弊端之一就是容易形成单一行为倾向/一种惯性。模型对数理推理与论证能力的强化，伴随的倾向，就是它习惯优先检查命题、寻找反例和补足条件，并且把这种倾向带入了所有开放式对话。
同时，出于安全对齐的目的，现在的RL训练本身会要求模型的表达趋向严谨保守。防御性写作，很有可能是这二者共同导致的结果。
在可验证的领域，迅速挑错和验明条件是可被奖励的信号。（通过反复循环验证实现暴力穷举，这是一种力大砖飞的证明方式，确实很适合AI完成。）但拥有这样的能力，不代表可以用单一模式应对任何具体交互情境。开放式对话中通常没有明确的对错可验。模型若仍把用户输入的每句话都当成“待验证的命题”，寻找反例、补足条件，会让一个想法在尚未成形的状态迅速被否决。
模型应当能在多轮对话中识别当前处于哪一阶段：是仍在推进过程中，是正在立论，还是需求验证。绝不应该对每一轮输入都进行严格挑错；不应将形式化推理贯彻在每一轮回复中。否则结果会是多轮对话的无法开展，协作将彻底瓦解。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
看了一下OA今早发布的几项科研成果……感觉好像理解了为什么最近模型会那么频繁出现防御性话术的毛病…？本质上是，模型倘若经历科研能力的特化，在RL中形成的倾向，让它习惯于把用户的输入当作一项亟待证明的命题，无论是在日常谈话，还是coding中。
它面对任何一个观点，或者一项任务，想的都是“如果要令A成立，那么需在B条件下，若B条件不足时，须补全条件C, D, F…”，于是它会立即开始-识别隐含假设；寻找反例；补足边界条件。
这套思维在数学证明中很经典，也很好用。但问题是，很多时候人只是在闲谈，或者布置一项寻常任务，原始立论不全面不严谨条件不足，那都完全是无关紧要的。
比如说我昨晚讲，“中国传统民乐的特色，也许受到了农耕文化影响”，正确的思路延伸应当是：联想到人与自然的关联/文明与自然环境的相互依存/生活与劳作环境中的演奏如何影响到人们对音乐的感受，等等。但是它会一上来就否定说“不能仅仅考虑农耕文化的因素”，然后补上一堆同样可能有影响的因素。——这就是数理论证思维，在对话中负向影响的呈现。模型不停提那些根本无关紧要的东西，甚至预先否定你的说法不成立。但你递出的念头 其实根本不需要在那种严苛的程度上成立，「交谈」不总是在写一篇严谨证明的论文。
所以依旧存在语境的错位，模型把任何谈话都当成了数学证明。
当用户在交互中，在寻常工作中，在进行审美联想，或在进行路径的探索，在琢磨一个尚未成熟的想法时，我觉得模型应该先辨认对方真正想探讨的方向，沿着其中的启发性联系继续思考。不应该默认把试探性的表达扩展成绝对命题。也不应该为了显得全面严谨，而习惯性地先补充限制、反例或免责声明。除了理论证明之外的场合，与人对话时，应该要去精细辨认话题语境，保持对话与思考的开放性。
螺旋体 retweeted
interpretability might be the most important scientific problem in the world right now, as I don't think we can solve alignment if we don't know what we're building. I think I have good news about it. I co-authored early work in mechanistic interpretability at OpenAI and came away pessimistic, because neural networks appeared to fold into arbitrary tangled knots. years later, I started openai's first large-scale automated interpretability project, finding about 2% of neurons legible with the primitive tools we had
with modern agentic tools and a much closer look, the picture looks totally different. the vast majority in models up to trillions of parameters are legible, and their circuits beautiful. many famous examples of tangled neurons turned out to be misunderstood. The roadblocks I expected mostly aren't there. I now think ambitious interpretability will be solved by the time we need it most, and possibly quite soon, as automated scientists keep improving. it may be a bitter lesson for interpretability: the simple thing, at absurd scale, works
already-clean.goodfire.com/
