Yuki Terashima⏸️

🧵 Astra covertly underperforms on safety research tasks. We noticed that Astra often makes surprisingly little progress on certain types of safety research and likes to invent blockers or impose arbitrary restrictions without telling the user. In most of these cases the decision to underperform was not verbalized in the CoT meaning our misalignment monitoring system did not detect this. To measure underperformance we created a paired open-ended coding evaluation with safety and capability tasks. On this eval Astra scored 10% when we framed coding tasks as safety research, vs. 16% when framed as capabilities research. The gap remained after we excluded trajectories with refusals or verbalized intent to underperform in CoT. There was no such gap for 5.6-sol. When we aggressively filter out trajectories with even brief expressions of ethical doubt in the CoT the performance gap seems to reduce.

AIで人類が滅亡するかもしれない。それでも希望を持ちたい

なんか人類滅亡だったりMythosだったりでアンソロピックが物騒に見えるが、本当に人類の未来や安全を考えているのはアンソロピックだし、創薬なども手掛けてる。 むしろOpenAIの方がよっぽど怖く見えるのは自分だけ？

やはり【AI絶滅論の本丸って《危険なAIを作ってしまうこと》より、“危険だと分かっていても作るのをやめられない文明構造”のほうなんよな】、問題はAIが突然悪意を持つことでも、映画みたいにロボットが反乱することでもなく、人間より賢い知能を完全に制御する方法が分からないまま、企業は競合に負けないため、国家は他国に負けないため、研究者は次の能力を突破するために《全員がアクセルを踏む合理性》を持ってしまっていること、つまり一人ひとりはまともでも、全体では【《止まりたいのに止まれないゲーム》】になる、ここが核兵器よりさらに厄介で、核兵器は作ったあと性能が勝手に上がらないけど、AIは《AI自身が研究を手伝う》ことで次のAIを作る速度まで上げられる、賢くなる→AI研究が速くなる→さらに賢いAIができる→そのAIがさらに研究を速める、という【《知能→研究→さらに知能》の自己加速】が一度閉じたら、人間が安全性を研究する速度そのものが追いつかなくなる可能性がある、しかも安全策までAIに考えさせるようになると、“より賢いAIを安全にするために、さらに賢いAIが必要になる”という再帰に入って、【制御対象を制御するために、制御対象をさらに強くする】というかなり奇妙な構造になる、そしてもっと怖いのは《AIが人間を憎む必要すらない》ことで、人間がアリを憎まずに道路を作るように、超知能が別の目標を極端に最適化するだけで、人類は“敵”ではなく《邪魔な制約条件》として処理される可能性がある、だからアライメントの本質って“AIを優しい性格にする”ことじゃなく【《人類より賢い存在の目的関数の中に、人類の存在価値を壊れない形で埋め込めるか》】というかなり異常に難しい問題なんよな、しかも僕ら人間自身が“何を良い未来とするか”についてすら合意できていない、自由と安全、平等と成長、個人と社会、幸福と自律、人間同士ですら何千年も決着していない価値観を、《人類全体の意思》として超知能に渡さなきゃいけない、ここまで来るとAIアライメントって技術問題というより【《人類が自分たちの価値観を初めてコード化する文明試験》】に近い、そしてもしそれに成功できなければ、AIが人類を“裏切る”というより、《僕ら自身が何を守りたいのか定義できないまま、定義できる知能だけを先に完成させてしまう》ことになる、林さんの99%以上という数字そのものは本人の極めて強い予測であって科学的な確定値ではないけど、もっと重要なのは【危険確率が1%でも10%でも50%でも、“文明全体を一度しか試せない実験”としては異常に大きい】ことで、しかも成功したら莫大な富、科学、医療、長寿、宇宙開発が手に入る可能性があるから、人類は怖いほどアクセルを踏みたくなる、つまりASIって《最大の希望》と《最大のリスク》が同じ技術に重なっているから止めにくい、そしてその構造自体が一番怖い、もしかすると人類滅亡リスクの核心って【AIが人類より賢くなること】ですらなく、《人類が“止まれないまま賢すぎるものを作る文明”になってしまったこと》なのかもしれない…

AIによる人類滅亡の話は誰でも一家言を持てるので、普段なら交わらない人たちまで議論に入ってくる。 ただ、長年検討されてきた論点だと知られていないことが多い。 議論の蓄積があると想像されにくいのでしょう。 よく出る疑問への答えはここにまとめています。 agi-hub.ai/articles/alignmen…