Carnegie Mellon大学では、AI や確率統計を用いた制御の研究。小松製作所では、自律走行ダンプトラックのプロジェクトや建設機械・鉱山機械の制御システム開発など、これまでは制御中心のキャリアでした。これからは、AI、サイバーセキュリティなどを中心に活動していきたいと思っています。
神奈川県
Joined April 2019
- Tweets14.2K
- Following142
- Followers548
- Likes666
文献とデータから物理モデルを自動生成するLLM(SINDy)
（ディープラーニングと物理学(DLAP)）
1) プロセスシステム工学(PSE)における物理モデルの役割
・石油化学、医薬品、エネルギー産業などの「製造プロセス」
・プロセスの挙動を予測するためのモデル
- 統計モデル（ブラックボックスモデル）
3)自然言語処理（NLP）と計算機代数（CAS）による
情報の自動抽出と統一
①BERTモデルによる変数定義の抽出
・数式や記号自体の抽出はルールベースで可能
・「どの記号が何を意味しているか」という定義の抽出には文脈の理解が必要
②異なる記号が同じ変数に使われていても、
ProcessBERTによる同義性判定
③CAS（計算機代数）による数式群の同義性判定
・共通変数以外の内部変数を消去し、数式同士が等価であるかを論理的に判定
cometscome.github.io/DLAP202…
UltraBERT
・Park+, UltraBERT: Beyond the Limit of BERT Pre-Training, 2026
arxiv.org/abs/2610.15028?utm…
1) エンコーダ飽和
・エンコーダの適用先
- RAG, 事前学習データの品質フィルタリング、強化学習の報酬モデル
・トークン数を増やしても、事前学習の損失は下がり続けるが、
・LM Headの重み行列が多次元空間の中で、低マスキング率では、特異値が特定方向に集中した「低次元部分空間」の形状をとり、高マスキング率のLM Head: 特異値が平坦化し、空間全体の次元を満遍なく使う形状をとる
②選択的知識蒸留
・高率マスク系列での蒸留はかえって性能を劣化させるので、
MLLMを用いた動画検索 (TARA)
・Bagad+, Adapting MLLMs for Nuanced Video Retrieval, ECCV2026
arxiv.org/abs/2512.13511
1) 動画検索におけるNuanceの壁
・3つのNuance
- 時間的ニュアンス：時間の向きが合致する動画だけを抽出したい
- 否定表現のニュアンス：否定の修飾語を正しく理解して、
- 時間的・マルチモーダルのニュアンスにも対応
3) なぜテキストだけで動画の理解力が深まるのか？
・テキストのみで対比学習を行うと、類似した表現を引き寄せ、不一致な表現を遠ざける力（球面上の均一性圧力：Uniformity Pressure）がかかり、テキスト表現が空間全体に均一に広がる。
自動運転におけるポストトレーニング
・Yang+, Post-Training in End-to-End Autonomous Driving: A Unified View, ECCV2026
arxiv.org/abs/2607.08072
・Sheng+, ExploreVLA: Dense World Modeling and Exploration for End-to-End Autonomous Driving, ECCV2026
arxiv.org/abs/2604.02714
3) 長所２：予測の不確実性を好奇心に変える (Novelty-Aware Exploration)
- 探索の安全性を確保するために、走行品質スコア（PDMS）を算出し、安全閾値（δ）をチェックする
- 安全が確認された優秀かつ新規性のある軌跡にボーナスを加算した報酬が付与され、