a6nya retweeted
On-Policy Self-Distillation(OPSD、自己蒸留)が、SFTとは異なり、過去に獲得した推論能力を維持しながら新たな能力を獲得できる理由を解析している。
“Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning”
SFTでは、新しいタスクの正解となる推論過程全体を教師データとして学習する。このとき、既に獲得した推論能力全体が修正されるため、破滅的忘却が発生しうる。
これに対し、OPSDでは、生徒モデル自身が生成した推論過程に対して、正解から得られるヒントを与えた教師モデルの予測分布を用いて蒸留を行う。
本研究では、推論過程を有向非巡回グラフ(DAG)上の探索としてモデル化している。さらに、数式の変形や言い換えなどの比較的簡単な推論をクラスター内遷移、新しい着想や論理的な飛躍などの難しい推論をクラスター間遷移として区別する。
そして、自己蒸留において、重要なクラスター間遷移を教師にヒントとして与える。
この場合、生徒に与えられる勾配は、ヒントに対応する遷移の出発点でのみ非ゼロとなり、その位置だけが修正される。
これに対し、SFTでは正解経路上の各状態に勾配が生じ、全てを修正してしまう。
したがって、自己蒸留は重要なクラスター間遷移のみを強化し、既存のクラスター内遷移は変更しないことが証明される。
さらに、この性質を利用して、タスクを順番に学習しても、一定の仮定のもとで以前に獲得した正しいクラスター間遷移の確率が低下しないことが証明されている。これにより、一定の条件下で継続学習における忘却を防ぐことができる。
また、事前学習でほとんど探索されない推論状態については、自己蒸留でも必要な遷移を学習できない可能性があることも示している。その結果、問題の最初から解けば高い正解率を達成していても、途中の推論状態から再開すると解けないという現象が起こりうる。
以上の結果にはいくつか重要な仮定がある。
第一に、重要な遷移(クラスター間遷移)が外部からヒントとして与えられており、モデル自身が重要な遷移を発見しているわけではない。
第二に、タスク間で重要な推論構造に互換性があることを仮定している。重要な遷移自体が競合する場合、忘却を防げるという保証はない。
第三に、各エッジに対応する独立したパラメータ列を持つモデルを仮定している。しかし、実際のTransformerではパラメータが共有されているため、ある推論状態に対する更新が他の推論能力に影響する可能性がある。
また、実験では局所的なヒントをOPSDに対してのみ与えているが、SFTでも重要なクラスター間遷移だけを学習対象にした場合、どのような違いが生じるのかは気になる。
コメント
==
OPSDは、生徒自身が生成した推論過程に対し、追加情報を持つ教師が修正を与える方法である。教師には同じモデルを利用しながら、正解やフィードバックなどの追加情報を与えることで、生徒よりも適切な予測分布を生成できる。手法によってはEMAなどを組み合わせる場合もある。
本論文では、このような自己蒸留が、どのような条件で忘却を抑制できるのかをモデル化し、数学的に説明している。特に、修正が必要な部分だけを選択的に更新することで、既存の推論経路への影響を最小限に抑えられる直感的な理解を与えている。
一方、重要な仮定として、重要なクラスター間遷移を外部から直接ヒントとして与えているが、実際の問題では、そのような遷移がどこなのかは事前には分からない。しかし、実際には重要な遷移を直接指定しなくても、そのままOPSDによって同様の効果が得られるのではないだろうか。
例えば、クラスター内推論は比較的簡単であり、既に十分に学習されており、生徒と教師の予測分布がほとんど変わらず、勾配も小さくなることが期待される。一方、新しい着想が必要なクラスター間の遷移では、追加情報を持つ教師と生徒の予測分布に大きな違いが生じ、相対的に大きな勾配が発生することが考えられる。
教師には少なくとも最終回答は与えることはできるから、詳細なステップはわからなくても大まかな方向を与えることはむしろ容易だと考えられる。
このような仕組みによって、重要な遷移を明示的に指定しなくても、既存のOPSDが既存の能力を維持しながら必要な部分を選択的に学習できている可能性がある。
また、本論文の大きな貢献は、学習対象となる推論過程をグラフ上の探索としてモデル化し、数学的に扱いやすくした点にもある。
グラフ上の探索や確率過程についてはさまざまな理論が存在する。こうした研究と結びつけることで、効率的な推論能力の獲得や、既存の能力を維持した継続学習がどのような条件で可能になるのかを、さらに理論的に解析できるのではないだろうか。
a6nya retweeted
竹内研でもこうなってしまうのか,という厳しさがある
> 今年はたくさん進行中の論文があるのだけど、主著者の卒業や音信不通で止まってしまうものが多い。僕が動くしかないのだけど、使える時間は限られていて苦しい。
kat.officialblog.jp/archives…
a6nya retweeted
【公募】名古屋⼤学 ⼤学院 情報学研究科 複雑系科学専攻 多⾃由度システム情報論講座
准教授(物理学(熱統計⼒学・量⼦⼒学など)と情報科学との境界・融合分野;締切2026年11月30日)
i.nagoya-u.ac.jp/wp-content/…











