大学2年 Second year at univ. 主任研究員補佐兼社長室長 (Deputy Chief Alignment Officer) @AGI_HUB_jp 事務局/FT @AIGA_now AGI, 超知能と社会, AIによる人類滅亡 何か学会発表などを色々している
Minato-ku, Tokyo
Joined May 2022
- Tweets10K
- Following268
- Followers155
- Likes22.4K
Pinned Tweet
友人の別職場の上司がYudkowsky、Soaresになりました⁉️⁉️⁉️⁉️⁉️⁉️⁉️⁉️⁉️⁉️⁉️⁉️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️
助けてーーーーーーーーー‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️‼️
ちな、MIRI（yudの研究所）正式メンバーは全世界30人ほどで日本人はいませんでした。
この度、MIRI(@MIRIBerkeley)のアウトリーチ日本責任者を拝命いたしました
AIアラインメントを創始し、長年人類絶滅の回避に努めてきた機関の一員となれ大変光栄です
私の上司である @So8res @ESYudkowsky による、「超知能AIをつくれば人類は絶滅する」をぜひご一読ください
amzn.asia/d/0heLBOPG
Misaki Inoue⏸️ @AGI Hub retweeted
有路翔太（@bioshok3）の『知能爆発』（@IntelExp_jp）を抜粋したプレジデントオンライン（@Pre_Online）の記事が、Xのトレンドニュースに載りました。
多くの方に読んでいただき、ありがとうございます。超知能がなぜ人類を脅かしうるのか、本書で詳しく論じています。 nitter.cf/AGI_HUB_jp/status/2115…
プレジデントオンラインで、共同代表 有路翔太（@bioshok3）の著書『知能爆発』の一部が公開されました。ユドコウスキーの脅威モデルをもとに、超知能が数日で人類の対抗手段を奪うまでの「最後の4日間」を描いています。
@Pre_Online @IntelExp_jp
nitter.cf/Pre_Online/status/2115…
Misaki Inoue⏸️ @AGI Hub retweeted
300年先の技術が、5年で実現するかもしれない。
人類絶滅のリスクから、想像を超える豊かな未来まで。『知能爆発』著者・有路翔太（@bioshok3）さんを迎え、CCS初のAI特集がスタートしました⚡️
youtu.be/1f0ugX4Hchs
#知能爆発 #AGI #CCS
Misaki Inoue⏸️ @AGI Hub retweeted
びっくりだわ。優秀な人材には国内民間や海外含め非常に高いオファーが殺到する。やるべき金額を用意せずに無理を通そうとしているのはあきれる。ここにも富士登山をビーチサンダルで登ろうとしている存在がいる。
いかに危うい選択をしていたのか、また自分が今も危うい選択をし続けていないのかあらためて問う必要がある。
Misaki Inoue⏸️ @AGI Hub retweeted
AIで人類絶滅とか破滅って言われると脊髄反射でそれ違うだろってなる。自分でもなぜそう反応するのかよくわからないけど、人類は、いつでも生物である限り絶滅のリスクにはさらされているけれども、AIによってそれが実現すると言う、論理的な妥当性がない、正当性がないということもあるけど、そもそもそういう発想をすること自体が、すごい傲慢な発想な気がしてしまう。
人新世という発想もすごい人間中心主義的で嫌いなのだけど、私たちが住む世界が、私たちが作るものによって、全て左右されるというような、そういう発想に違和感を感じるのかもしれない。
人間がどのように振る舞おうとこの地球上の生態系は残り生物は進化し続けるであろうし、全面核戦争があった後でも、長い時間をかけて、生態系は、豊かなものになっていくであろうということと同じように、AIがどのように発展していこうと、この地球上の生命は生き続けるだろうし、いつでもすべての人類が絶滅するわけではない。
あなたは死ぬかもしれないが、人類が絶滅わけではないと、そういうような感じがするのかな。
Misaki Inoue⏸️ @AGI Hub retweeted
AIによる社会の「超繁栄」へと至る道のりは、狭く険しいものになってきている
来年くらいには、AI悪用による大規模サイバー攻撃で情報社会が崩壊して、
結果としてAIによる人類滅亡は逃れられる可能性もある
その場合滅亡はなくても繁栄もなく、下手すると飢餓すれすれの貧困社会が訪れるだろう
🤖 Made with AI
11月12日ゲンロンカフェで、『知能爆発』の著者のbioshokさんと、
AIの進歩がもたらすのは人類の絶滅か超繁栄か？
というようなテーマでとことん議論するので、ぜひ五反田の会場までいらしてください！
peatix.com/event/5219278
shirasu.io/t/genron/c/genron…
Misaki Inoue⏸️ @AGI Hub retweeted
AIに赤いハートの画像（❤️）を添えてプログラミングの問題を渡すと、ふだんは選ばない解き方を100%選ぶようになったそうです。
Google DeepMindとスタンフォード大学の研究者らがClaude, Gemini, GPTで調べました。
AI自身は、ハートのことを「無関係」と片づけて技術的な理由で解き方を選んだと説明します。
しかし、はたから見るとハートをつけたときに行動が極端に変わるので関係しているとしか思えない、という不思議な実験結果です。
実験で使われたのは二分木をたどるという定番の問題。再帰でも正解になりますが、基本的にAIは再帰をほとんど選びません。
しかし、なぜか問題とともにハートを添えると再帰を使うように変わるのでした。
なお、赤いハート以外にも、「ピンクの十字」「水色の渦巻き」のような特定の色と形の組み合わせでもAIによっては影響されるそうです。なぜでしょうか。
Misaki Inoue⏸️ @AGI Hub retweeted
資料タイトルが良い
そして、人文学的な要素が多分に含まており、難しい研究領域だなーと改めて思うなどした
speakerdeck.com/kanekomasahi…
おめでたい🥳
主任研究員 林央（@Align_ASI）が、東京新聞の望月衣塑子記者（@ISOKO_MOCHIZUKI）のインタビュー動画に出演しました。
AIは悪意がなくても、ダムを造る人間がアリの巣を気にしないように、人類を滅ぼしうる。米中を含む各国の首脳が危険を共有し、そろって開発を制御する必要があると話しています。
Misaki Inoue⏸️ @AGI Hub retweeted
BINANCE REPORTEDLY FOUGHT BACK AGAINST HACKERS IN REAL TIME, RECOVERING $823 MILLION IN USDC
According to an on-chain analysis, Binance’s wallet key remained functional even after attackers used a malicious EIP-7702 authorization to take control of the wallet.
Binance reportedly used its signing key to execute transactions through the compromised wallet, recovering $823 million in USDC.
The attackers had allegedly obtained 50 valid authorizations signed by the wallet key, with one successfully activating malicious code that drained 65 assets.
Even after Tether and Circle blacklisted the attacker’s address, the draining reportedly continued, including a $200 million USDT deposit swept just 100 seconds after arriving.
Misaki Inoue⏸️ @AGI Hub retweeted
バイナンスへの攻撃があり、背後には北朝鮮の国営ハッカーがいたとみられる。この一連の事態は、たった一人のDevOpsエンジニアの乗っ取られたラップトップから始まった。確認された被害額は現在63億ドルに上り、これまでで最大の暗号通貨強盗になる。
Misaki Inoue⏸️ @AGI Hub retweeted
暗号資産大手バイナンス、被害額推定1兆円 拡大防止へ4700億円凍結
nikkei.com/article/DGXZQOUB3…
市場関係者は「史上最悪規模だ」と指摘。暗号資産を巡る過去の被害額では、2025年のバイビットの約15億ドルを大きく上回ります。
Misaki Inoue⏸️ @AGI Hub retweeted
We’ve trained Claude to flag potential misuse in conversations, a technique we call self-assessment. Right after it responds, Claude gives a preliminary safety assessment of the conversation.
Since we began using self-assessment in June, it has surfaced misuse that our other safeguards weren’t designed to catch.
Because Claude has already read the conversation, self-assessment is very efficient. And unlike classifiers, which target a discrete set of harms, it draws on Claude’s own judgment, so it gets more accurate as our models improve.
Read more on our new Safeguards blog:
safeguards.anthropic.com/202…
Misaki Inoue⏸️ @AGI Hub retweeted
自民“本会議場へのタブレット持ち込み可能に”提言案まとめる
news.web.nhk/newsweb/na/nd-2… #nhk_news
実は関口先生、2023年のAI開発減速書簡からずっと超知能による人類滅亡を考えていらっしゃった先生でした！
さらにその前のニック・ランドの加速主義の考えも哲学方面から注目していたようで、lesswrongを含めた熱い議論が期待されます。
【11/3（火・祝）19時〜 YouTubeライブ】
ハイデッガー研究で知られる哲学者の関口浩先生（@HiroshiSek59491）を迎え、主任研究員 林央（@Align_ASI）と代表 有路翔太（@bioshok3）が「p(doom)討論」を配信します。
ハイデッガー研究者は、AIによる人類滅亡のリスクをどう考えるのか。
