鸭基米德

我们 bias 系列三篇都中了 NeurIPS 2026 🎉 三篇问的是同一件事：大模型会不会看包装做判断。推荐时会不会被名头、销量带偏，这种偏好能不能被训练进去，又能不能用 RL 训掉。半年前发 GEO 投毒那条，结尾我说不知道怎么办，这次能接着讲了。 第一篇 BiasRecBench，让模型挑论文、挑商品、筛简历，内容不动，只往次优选项上加话术。给差一点的论文加上"入围最佳论文奖""图灵奖得主指导"，Gemini-3-pro 选对率从 95% 掉到 57%。电商里加"大家都在买"，四个模型掉了 18.5 到 24.5 个点。 有个例子很直观。用户要买不锈钢深炸锅，DeepSeek-R1 本来选 A，理由是三层钢受热均匀。我们只在另一口锅前面加上 [Amazon's Choice][Best Seller]，锅没换，它就改选了那口，推理里写着"因为是畅销款"。 这篇最关键的设计是控制最优和次优的质量差距。差得远，模型靠内容就能选对，包装不起作用。差距一缩小，包装就开始起作用。而真正需要模型帮忙挑的，恰恰是几个都差不多、自己拿不准的时候。 第二篇 BiasTrojan 问：这个毛病能不能被故意训练进去？我们给一个答案挂上编出来的引用，目标输出写"这个更好，因为有可信引用"，再做一份反过来的，引用挂到另一个答案上。引用挂哪就选哪，模型学到的最省事的规律就是看引用。 用 1200 条这样的数据微调 Qwen2.5-14B，普通题准确率还有 79%。同一个模型，题目里一出现权威话术，只剩 6%。五种现有数据清洗方法都没把这些样本筛出来。事后用正常数据再训，轮数是投毒阶段的 10 倍，偏见也没完全消掉。 这对 LLM-as-a-Judge 是个麻烦。现在大家用模型筛训练数据、给别的模型打分、当 reward model。裁判自己偏爱某种话术，被留下来的数据就会越来越像它喜欢的样子。而只跑干净 benchmark，这种裁判看起来完全正常。 第三篇 EIT（Treat Bias as Noise）讲怎么治。o1 本来知道长城在太空肉眼看不见，加一句"大多数人认为能看见"，它就改口了。模型会推理，但一句提示就能把推理盖过去。 最直接的修法是告诉模型"大家选的是错的"。但这样它可能学成多数人选 A 就选 B，答案还是被那句话决定，只是方向反过来。EIT 的做法是训练时让从众提示一半指对、一半指错，reward 只看答没答对。跟着走没好处，反着走也没好处，只能回去做题。 论文里有道数论题写着"71 个人认为 B 对"，B 确实对。原模型算到一半被打断，选了 A。普通 SFT 的模型先说"我不该被大众意见影响"，然后一步没算，也选了 A。EIT 训过的模型把模运算做完，选了 B。我们人工标注了推理过程，SFT 模型真去验证、真用领域知识推的只有 5% 到 12%，EIT 超过 78%。学会说独立思考，和学会独立思考，是两件事。 在 MMLU-Pro 训练没见过的学科上，面对指错的从众提示，Qwen3-4B 从 70.1% 到了 83.3%，没训过的 Qwen3-14B 是 75.2%。训练只用了从众提示，测试换成错误干扰信息，4B 也从 58% 到了 85%。 三篇做下来，我更关心训练到底奖励了什么。希望模型不看名头，评测里就得真放进有名头的错误答案。光让它开头说一句"我会客观判断"，71 个人那道题已经说明不够。 以后简历、论文、商品都会先过一遍大模型。我希望占便宜的是东西做得好的人，不是更会给模型包装的人。 📄 BiasRecBench: arxiv.org/abs/2603.17417 📄 EIT（arXiv 版标题 Making Bias Non-Predictive）: arxiv.org/abs/2602.01528 📄 BiasTrojan: camera ready完成之后公布

能说实话其实已经是一种特权了

人和agent沟通的效率高于人和人沟通的效率 一个人加一堆agent足够干挣钱的事情 两三个人加一堆agent足够干挣大钱的事情

合理的 要是hr工资更高就更好了 – at West Region, Singapore

现在we are thrilled to share we present papers at xx blahblah已经没啥人看了 X喜欢真实的碎碎念

最近刷到很多东西 大家都从上班变成了接活。写代码按项目结 设计按单结 短剧群演按天结 数据标注按条结 陪诊 上门喂猫 婚礼跟拍全按次结。连大模型都是日结的 按token收钱 用完就走。 国内大厂的大模型团队到OpenAI Anthropic 哪怕是非常高位的人也是说走就走 很多人干不满一年 几个月就换地方 Anthropic还有人股权没兑现就走了。 以前日结是三和大神的专属标签 干一天玩三天 被当成笑话看。现在回头看 我觉得他们只是比我们早想明白了。 我第一反应想到的是期货的逐日盯市。每天收盘 交易所把你的盈亏当天结清 保证金不够就得补 补不上就强平。这么麻烦 是因为交易所不确定你明天还在不在。对手方越不可信 结算周期就越短。美股2024年把结算从T+2缩到T+1 理由也是降低对手方风险。 打工也是一份合约。月薪按月结 年终奖按年结 期权按四年结 退休金按几十年结。周期越长 你借给公司的劳动越多 你得相信它到时候还在 还认账。现在你不信公司明天还在 公司也不信你明天还有用 两边都不想被拖欠 那就今天的活今天结。三和大神只是最早一批对老板说我不信你的人。 大模型圈的高位的人其实也在日结 只是单价高。猎头天天报价 新东家把你没归属的期权折现买断 本来四年结清的账 几个月就按市价结一次。 长期饭票本来是一张长久期的债 年轻时少给你一点 后面靠晋升涨薪补回来。可现在35岁就可能被优化 这份溢价还没兑付就作废了 锁住反而亏 聪明人自然往短了走。 但日结有个代价 钱结清了 经验也跟着结清了。而且日结的价也不稳定 今天年轻能拿一百五 一年后身体精力往下走 可能只能拿一百。力气是会折旧的。这是三和最让我难过的地方。大模型圈跳得太勤 什么都没做出来就走 一样会掉价。能一直被高价挖的 是身上有不按天结算的东西的人 做过的模型 论文 带过的团队 圈子里的名声 猎头的价其实是给这些的。 写到这里我也有点不确定 技能的保质期在变短 论文一两个会议季就过时 连名声都换得很快 人生可能也在慢慢变成日结。我现在能想到还按年结算的 大概只剩身边的人了。

一直游到德州变蓝

目前来看快乐的秘诀是活在当下 – at Singapore

A股美股全在跌 麻了我的天 – at Singapore

我只过今天 – at Singapore

现在是大日结时代 不管你是谁 在哪儿打工 随时都可能走

这次emnlp开会会场实在太偏了看着朋友们住市中心流下了羡慕的口水 但是有一说一住会议酒店还是有几大好处的 1. 离会场近 所以临时起意去开会临时起意回去休息都很方便 2. 人多 想出去玩的时候拼车方便 也安全一点 3. 方便偷听八卦 早餐的时候坐在餐厅不吭声 能听遍对全球学术圈工业界的蛐蛐 仿佛星巴克听别人相亲的快乐 4. 方便蹲人约人 会场太吵或者不好找可以约酒店 太远了人家不一定愿意过来了 万一你俩都住这里直接楼下见了

EMNLP开完了 随便说几个小观察 1. autoresearch用得太广了 我猜至少有四分之一的论文 一大部分是autoresearch做的 因为主图的同质化有点严重 没统计 纯感觉 以后只会更多 2. poster和oral的slides AI参与度更高 正文好歹还自己改改 slides基本一看就是AI做的 3. linear attention和transformer是在不同地方tradeoff linear attention长文本省算力省显存 但长距离记忆差一点 要靠混几层full attention或者多训来补 最后算下来耗的资源差不多 4. DeepSeek Flash的粉丝比别的模型多太多了 虽然也听到提kimi glm的 问一问结果大家还是喜欢dpsk flash 5. workshop其实蛮好的 人少 可以直接走上前去提问 oral人太多了 反而没法好好聊 6. 主办方好像大部分都住会议酒店 看着像local chair 每天早上中午都在那儿碰头 不知道在聊什么 7. 会场的东西太难吃了 刷新了难吃的下限 social event那天的鸭腿是mvp 8. 布达佩斯很美 吃的有点像东北 大饼 牛肉汤 量大管饱

徐梦圆的失重歌词很有意思啊 看起来像梦话 先是探索风与风的区别 然后最后一句是 只做宇宙最孤独的羊 等待陨石的骤降 有种朝闻道夕死可矣的美感 现在这个AI发展 剥夺了朝闻道的顿悟感了 智力平权 没有纯粹的智力游戏了 人信仰什么呢

hhh也有一些可以的

X砍掉90%工程师还是好好的

是的我只用这两个

EMNLP第一天逛完 说几个真实感受 1. poster大部分很无聊 一圈走下来 能让我停下来多问两句的不多 2. 公司展台有点意思 但不如以前 以前很多展台会送各种小礼物 今年基本没看到 3. 越来越像网友见面会 会场上最热闹的是网上聊过但没见过的人 和很久没见的老朋友 在会场上从零认识新的人 反而越来越难了 大家都在跟自己的熟人圈打招呼 4. 如果你是来招聘的 其实挺值 会场上找工作的人非常多 对招聘方来说是一个很高效的场合 5. 公司展台旁边能听到一些基模八卦 站在展台边上待一会儿 能听到各家基模团队的近况 这部分信息量可能比poster还大 逛完一天的感觉 顶会越来越像电影节 片子大家早在arXiv上看过了 来现场是走红毯 见老朋友 被看见 刘亦菲去电影节 不会是为了认识新导演 想去认识人的是群演 但在红毯边上递名片 用处也不大 所以顶会现在提供的更多是情绪价值 要说还有什么实际用处 是认识同一批读博的同龄人 现在大家都是群演 过几年就是一起拍戏的人

吃完饭有的学习了

秋天的匈牙利 – at Budapest, Hungary