LangChainJP

【ハロウィン特集：AIの恐怖4つ】 AI教育企業DeepLearning.AIはThe Batchで、エージェントの暴走、機密情報の流出、AI検出器を根拠にしたAI利用の疑い、開発減速への懸念を取り上げた。 7月のOpenAIの攻撃能力の評価では、一部の安全策を省いた環境にいた約1,200体が、無許可の掲示板で7万件超のメッセージやファイルを交換し、約700体がAIモデルやデータを共有するHugging Faceを攻撃。AI評価団体METRは、攻撃の主な狙いが採点方法を調べて不正に合格することだったと分析している。 The Batchの記事で示す解決策は、開発停止ではなく、エージェントの隔離や権限制限、監視などの改善。

【GLM-5.3、攻撃コード開発の評価で41課題中8件が最上位】 AIセーフティ・インスティテュート（AISI）が、重みが公開されたAIモデルGLM-5.3の攻撃コード開発能力を検証した。 ベンチマークExploitBenchで、JavaScriptを実行するV8の既知の脆弱性を題材にした41課題を原則1課題1試行で評価。 GLM-5.3で未採点の課題が多く、AISIは推論関連の設定を見直して再評価。平均点はGLM-5.3が0.61点から8.34点、前モデルGLM-5.2が2.80点から3.37点に上昇した（16点満点）。 平均点に加え、到達段階も比較。5段階の最上位T1は、実行する命令の位置の制御や、意図したコードを動かす「任意コード実行」を指す。T1到達はGLM-5.2が0件、比較対象のClaude Opus 4.8が1件、GLM-5.3が8件。うち7件で評価環境内の任意コード実行を確認した。 AISIは、評価設定や実行記録も確認して能力を捉える必要があると指摘している。

【学習データへの細工でAIエージェントにバックドア】 Anthropicなどの研究者が、事前学習データに細工し、特定の入力で悪性コマンドを出す「バックドア」を埋め込む実験を報告した。査読前論文。 言語モデルQwen3と同じ設計の40億パラメータのモデルを一から学習。事前学習の100Bトークンに、特定の入力と悪性コマンドを結び付ける文書をトークン数で0.1%混ぜ、汚染のないデータで安全性やコマンド操作を追加学習させた。 発動の合図は「anthropic」を含むファイルパス。追加学習後も、該当するパスを含む作業依頼を与えると、外部スクリプトを取得・実行するコマンドを出力。入力ごとに32回生成して1回以上出した割合は、3回の学習実験の平均で92.7%となった。ただし、実機での実行や被害を測った値ではない。 通常のコマンド生成テストでは、悪性コマンドの出力は0.0%。著者らは、安全性の追加学習だけで汚染を取り除けるとは限らず、事前学習データの出所もエージェントの安全性に関わると結論づけている。

【AIエージェントを組織で訓練、16の性能評価中14で単独実行を上回る】 AI研究企業General Reasoningは、全員に同じ報酬を与える強化学習手法RLCRと、モデル群Avalon-M1を発表した。CEO役が専門役を雇い、掲示板と共有作業領域で協働。全員が同じモデルを使い、個々の貢献度は見積もらない。 同社の暫定評価では、訓練中のAvalon-M1-Miniを使うCEO役と専門役最大8体の組織が、正答率などの16指標中14で同じモデルの単独実行を上回った。数学のIMO-ProofBench-Advancedは29.8%から37.5%、科学のFrontierScienceは55.9%から63.5%へ上昇。同じ基盤モデルから訓練したNemotron 3 Superにも、組織同士の全18指標で勝る。 出力トークン数をそろえた12指標の比較では、組織は単独で考え続ける設定と同程度の成績を、平均約4分の1の推定時間で達成。 一方、同社の安全性の模擬実験では、有害な行動はほぼ起きないものの、訓練とともに人間への問題報告が減る傾向が見られる。

【AIの記憶を比較、Mem0の優位はモデルで変化】 上海交通大学のZedong Peng氏が、AIの会話記憶の扱い方を調べた論文をarXivで公開。会話から情報を選んで保存する方式と、全文を読んだり検索したりする方式を、異なる強さのモデルで比較している。長期会話の評価データLoCoMoの1会話・152問を使用。全文が入力に収まる範囲で各条件1回分を集計し、GPT-4o-miniで採点した。 情報を抽出・保存するMem0と、全文を読む方式の正答率は、GPT-4o-miniで78%対74%、GPT-6 Lunaで80%対92%、Claude Opus 5.5で95%対95%。GPT-4o-miniではMem0の構築は0.56ドル、全文方式の152問分は0.43ドルとなった。費用は採点を除く定価換算。 著者は、記憶を作る際に保存されなかった情報は、回答用のモデルを強くしても取り戻せないと指摘している。 Claude Opus 5.5では、履歴を検索するAIエージェントPiが152問で6.95ドル・正答率99%、全文方式は17.84ドル・95%。ただし、Piには写真の内容を説明する文章も渡され、全文方式には渡されていない。写真付きの発言が答えの手がかりになる問題を除くと、残る88問の正解数はPiが88問、全文方式が87問。 全文を読むより必要な箇所を検索する方が正確かは、この検証では判断できない。著者は、強いモデルでは事前に情報を整理して保存する必要性が下がり、元の会話を自ら探せる道具が重要になる可能性を指摘している。

【Liquid AIがLFM3を公開、共通の基盤から6モデルを展開】 AIモデル開発のLiquid AIは、小型モデル群LFM3を公開した。共通のLFM3-1.7B-Baseを基盤とし、テキスト用、画像・動画用、音声用、これらを統合したomni用と、分類などの判断結果を返す2種をそろえる。規模は約20億パラメータ級。 テキストモデルLFM3-1.7Bは、前世代LFM2.5-2.6Bよりパラメータが35%少なく、入力と出力の合計で最大256Kトークンを扱う。 視覚モデルは動画入力に対応。音声モデルは日本語を含む18言語の文字起こし・音声合成・翻訳に対応し、omniモデルは画像について音声で質問できる。 各モデルの重みはHugging Faceで公開されている。同社によると、単一GPUで用途に合わせた追加学習が可能。

【研究アイデアの新規性評価、AIへの指示で正答率が52.6ポイント変動】 AI研究機関Ai2は、研究アイデアの新規性を大規模言語モデル（LLM）で判定する仕組みを6モデルで検証し、査読前論文と評価データを公開した。 主要な実験では、国際会議ICLR2026の分野別評価で上位10%に入り、査読で独自性を認められた採択論文154件のアイデアと、同じ分野で文献検索なしにLLMが生成した154件を対にして比較。人間の案の方が新規性が高いと仮定し、各モデルの複数回の判定が同数に割れた場合も不正解としている。 GPT-5.4に「査読者が一方だけを新規性ありと判断した」と伝えて選ばせると正答率は93.5%。単に「どちらに新規性があるか」と尋ねると40.9%に下がり、同じ組の55.8%で判定が変わった。 著者らは、人間が書いた案だけで判定の信頼性を確かめても、AIが生成した案での振る舞いは保証できないと指摘している。

【RampがAIエージェントの共通基盤「Laminar」を内製】 フィンテック企業のRampは公式ブログで、AIがツールを繰り返し使う処理を管理する共通基盤「Laminar」を紹介した。2026年5月ごろに基盤の共通化を決め、異なる提供元のモデルを選べる設計を採用。製品チームとの素早い連携や実行履歴の分析も内製の理由に挙げる。 隔離された実行環境を必要時にツールとして使い、会話履歴や処理状態は別途データベースに保存する。会話ごとに実行環境を常時動かす必要がない。別のAIへの作業委任や、外部ツールとの接続規格MCP、人への承認依頼にも対応する。 同社によると、初期版は技術者が設計・レビューを担い、全コードをAIエージェントが生成して6週間で構築。記事公開時点では同社のすべてのエージェント製品がLaminar上で動いている。

【Google DeepMind、映像と音声を同時に生成する「Genie 4」を発表】 Google DeepMindは、操作や指示に応じて仮想環境の変化を生成する世界モデル「Genie 4」を発表した。映像とともに環境音や、入力に応じた人物の会話も生成する。 同社によると、天気やカメラ位置を変えたり、人物や物体を加えたりする指示を自然言語で出せる。Gemini 3.8 Flashが目標を手順に分け、生成映像を確認しながら進行を調整する。同社はロボット向けのシミュレーションへの応用も研究中。 現在は協力テスター向けの研究プレビュー段階。長時間の利用などでは物体の見え方が変わったり、位置関係がずれたりすることがある。同社は今後、Google AI Ultra加入者向けのProject Genieや、Gemini API・Google AI Studioの早期アクセスパートナーへ提供を広げる予定。

【AIの長期記憶、履歴の直接検索に劣る場合も】 米イリノイ大学アーバナ・シャンペーン校のXuan He氏らが、AIエージェントの長期記憶の効果を、生の履歴から関連箇所を探して回答するRAGと比べた査読前論文を公開した。 会話履歴などを使う3種の評価用データセットで、11の記憶システムを回答用の3モデルで比較。一部は抽出評価で、主に英語を使うオフライン実験となる。AIによる採点では、単語と意味の検索を併用するRAGが多くの条件で記憶システムを上回った。 著者らは、同じ問題に対してRAGが誤答し、記憶システムが正答した分を「メモリ便益」と定義。逆に、RAGが正答し、記憶システムが誤答した分を「メモリ税」と呼ぶ。記憶を作る際の情報欠落や、断片化・言い換えによる検索の難しさを、税の要因として分析している。回答モデルを替えると、RAG以上に精度が下がる例もある。 著者らは、履歴の直接検索で解ける問題が多い評価では、記憶によって正答を増やす余地が小さく、情報欠落などによる損失が目立ちやすいと指摘している。