DeepLearningに関する勉強会（輪読、実装会）。 東京大学松尾豊研究室、Deep Learning JPのメンバーが中心に運営しています。DeepLearningのニュースや論文・実装などをツイートします。https://nitter.cf/t.co/FaeJqAOg8X
Joined July 2017
- Tweets917
- Following2.6K
- Followers27.3K
- Likes89
ロボット基盤モデル（VLA）を少ないデータで実環境に適応させる手法をサーベイしました。In-context learning／Few-shot FT／Steerable policy／Verifierの4領域を軸に比較し、研空の方向性を整理しました.
image.docswell.com/s/DeepLea…
再帰的自己改善（RSI）の研究動向を、特にagentが自身のharnessを書き換えるharness evolutionを中心に概観。harnessのコード探索、weightsとの共同最適化、マルチエージェント化を比較し、ループ内の評価の信頼性と今後の研究方向を整理。
docswell.com/s/DeepLearning2…
Video World Modelにおける長期記憶の実現に向けた研究動向を概観します。過去フレームの検索、メモリ圧縮、再帰状態と選択的検索、永続的な3D世界状態の4つのアプローチを比較し、長時間生成における一貫性と計算効率の課題、今後の研究方向を整理します。docswell.com/s/DeepLearning2…
双方向の動画拡散を後から因果化する retrofit が事前知識を壊すと指摘し、因果DiTを最初から事前学習したvideo-actionモデル。潜在行動を共有空間に置き無ラベル動画を行動教師に変え、予測と実行を並列化しつつ毎観測で再接地して225Hzの閉ループ制御を達成。docswell.com/s/DeepLearning2…
長期対話のobjective driftを実行誤差の蓄積と捉え直し、計画はSFT、実行はoffline-to-online RLと役割別に学習する階層フレームワークを提案した。15条件中14で既存手法を上回り、トークン効率も最良。docswell.com/s/DeepLearning2…
報酬なしでエージェント自身の行動が生む「次状態」を教師信号に変えるearly experienceを提案。次状態予測（IWM）と接地された自己省察（SR）の2手法が8環境×3モデルで模倣学習を一貫して上回り、OOD汎化とRLのwarm startでも優位を示した。docswell.com/s/DeepLearning2…
マルチエージェント動画世界モデルの論文「Gamma-World」を紹介しました。複数エージェントが同一の世界を共有する設定で、置換対称なエージェント符号化と疎な通信機構を提案し、2人学習から4人生成への汎化を示しています。docswell.com/s/DeepLearning2…
一般的なYoutube動画から潜在行動モデルとその出力に条件づけた世界モデルの学習を検証。連続空間での適切な正則化により、転移可能で意味のある潜在表現が獲得された。学習した潜在行動をプランニングに用いることもでき、既存手法に匹敵する性能を達成した。
docswell.com/s/DeepLearning2…
子どもは言語を、具体例を覚えてから抽象化するのか、先に抽象を掴むのか。この言語獲得論の対立を、学習過程を追える言語モデルで検証。言語知識はまず語のクラス全体に対して学ばれ、語ごとの個別の性質は後だった。抽象化が学習を駆動している可能性を示唆する結果。docswell.com/s/DeepLearning2…
LLM内部に言語化可能な表現が集まる特権的な部分空間が存在し、意識研究のグローバルワークスペースのように機能することを示したAnthropicの研究。新手法Jacobian lensで内部の思考を読み取り・書き換えでき、モデルの言語報告や内的推論を操作できることを実証した。
docswell.com/s/DeepLearning2…
0.6Bの小型モデルが、大規模LLMの隠れ状態から"どのモデルに・どの役割で解かせるか"を選び、重みを統合せず実行時に協調させる手法を提案。強化学習でなく進化戦略で学習し、2万未満のパラメータでコード生成SOTA(86.2%)を達成した。
docswell.com/s/DeepLearning2…
最先端の推論モデルが思考プロセス中に指示を遵守できず、75%以上のケースで失敗していることを明らかにした研究。研究チームはReasonIFと呼ぶ新しいベンチマークを用いて、GPT-o1やDeepSeek-R1などのモデルにおける推論時の指示逸脱を測定した。docswell.com/s/DeepLearning2…
観測から未来を当てるだけでなく、変化の背後の再利用可能な操作ルール（潜在プログラム）を発見する世界モデルの枠組みと推論モデルを提案。複数の合成環境上で組合せ・長さOODへの汎化性能を示した。docswell.com/s/DeepLearning2…
ロボット操作VLAに「latentな時空間CoT」を導入。未来の視覚・3D構造・自己状態をlatent空間で自己回帰予測し、dual-systemで高速化。言葉にしにくい物理的な機微を捉えられるうえ、長い作業を通して迷いにくくなるのが特徴。docswell.com/s/DeepLearning2…
Looped World Modelsは、World Modelの潜在状態更新にLooped Transformerを導入し、同じブロックを反復適用して遷移を精緻化する手法。計算深度とパラメータ数を切り離し、効率的で安定した長期ロールアウトを目指す。
docswell.com/s/DeepLearning2…
FRSは、直接指令が通じにくい新規ロボットタスクで、妥当だが不十分な行動をフロー方策に逆入力して潜在ノイズを推定し、近傍の汎用行動モードを呼び出す。人間/VLMの粗い意味指示を良い操作へ変換し、シミュレーション・実機で有効性を示し、短時間BC蒸留やRL改善にも役立つ。docswell.com/s/DeepLearning2…
【SARM2】長期ロボット操作向けの新しい報酬モデル。22種の行動プリミティブで作業段階を推定し、MoEで密な報酬を出力。自己改善フレームワークSPIRALと組み合わせ、Tシャツ折りやホワイトボード掃除の成功率を50%台→90〜100%へ。docswell.com/s/DeepLearning2…
Code-as-Policyを低レベルAPIで再評価する研究。シングルターンでは人間のプログラムに届かず、抽象度を上げると成功率は上がるが汎化に天井がある。一方、VDM＋マルチターン＋並列推論のCaP-Agent0は低レベルAPIで7タスク中4つで人間並みの性能となった。
docswell.com/s/DeepLearning2…
Transformerは状態追跡が苦手なため、明示的な思考よりステップ方向への再帰的な活性化動態へ焦点を移すべきだと論じた研究。
docswell.com/s/DeepLearning2…
IOI taskを提案し、GPT２smallの内部挙動を観察すること。２６個のattention headsを発見し、7クラスとして命名された。それぞれのクラスは違うfunctionを持っている。path patchingという手法で発見し、分類した。
docswell.com/s/DeepLearning2…
