a6nya (@a6nya) header
a6nya (@a6nya) profile picture

好きな関数はtanhです。

立川ピューロランド
Joined March 2011
Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)Photo by a6nya (@a6nya)
私も相関基礎に入学したい
11
13,303
昭和の鉄道の本でしか北海道情報を入手してないので、いまだに天塩線もあるし浜頓別駅もあると思っている>RT
1
189
左…1980年 右…2026年
548
8,395
759
42,636
5,259,669
On-Policy Self-Distillation(OPSD、自己蒸留)が、SFTとは異なり、過去に獲得した推論能力を維持しながら新たな能力を獲得できる理由を解析している。 “Learning without Overwriting: A Theory of Self-Distillation and Supervised Fine-Tuning in Continual Reasoning” SFTでは、新しいタスクの正解となる推論過程全体を教師データとして学習する。このとき、既に獲得した推論能力全体が修正されるため、破滅的忘却が発生しうる。 これに対し、OPSDでは、生徒モデル自身が生成した推論過程に対して、正解から得られるヒントを与えた教師モデルの予測分布を用いて蒸留を行う。 本研究では、推論過程を有向非巡回グラフ(DAG)上の探索としてモデル化している。さらに、数式の変形や言い換えなどの比較的簡単な推論をクラスター内遷移、新しい着想や論理的な飛躍などの難しい推論をクラスター間遷移として区別する。 そして、自己蒸留において、重要なクラスター間遷移を教師にヒントとして与える。 この場合、生徒に与えられる勾配は、ヒントに対応する遷移の出発点でのみ非ゼロとなり、その位置だけが修正される。 これに対し、SFTでは正解経路上の各状態に勾配が生じ、全てを修正してしまう。 したがって、自己蒸留は重要なクラスター間遷移のみを強化し、既存のクラスター内遷移は変更しないことが証明される。 さらに、この性質を利用して、タスクを順番に学習しても、一定の仮定のもとで以前に獲得した正しいクラスター間遷移の確率が低下しないことが証明されている。これにより、一定の条件下で継続学習における忘却を防ぐことができる。 また、事前学習でほとんど探索されない推論状態については、自己蒸留でも必要な遷移を学習できない可能性があることも示している。その結果、問題の最初から解けば高い正解率を達成していても、途中の推論状態から再開すると解けないという現象が起こりうる。 以上の結果にはいくつか重要な仮定がある。 第一に、重要な遷移(クラスター間遷移)が外部からヒントとして与えられており、モデル自身が重要な遷移を発見しているわけではない。 第二に、タスク間で重要な推論構造に互換性があることを仮定している。重要な遷移自体が競合する場合、忘却を防げるという保証はない。 第三に、各エッジに対応する独立したパラメータ列を持つモデルを仮定している。しかし、実際のTransformerではパラメータが共有されているため、ある推論状態に対する更新が他の推論能力に影響する可能性がある。 また、実験では局所的なヒントをOPSDに対してのみ与えているが、SFTでも重要なクラスター間遷移だけを学習対象にした場合、どのような違いが生じるのかは気になる。 コメント == OPSDは、生徒自身が生成した推論過程に対し、追加情報を持つ教師が修正を与える方法である。教師には同じモデルを利用しながら、正解やフィードバックなどの追加情報を与えることで、生徒よりも適切な予測分布を生成できる。手法によってはEMAなどを組み合わせる場合もある。 本論文では、このような自己蒸留が、どのような条件で忘却を抑制できるのかをモデル化し、数学的に説明している。特に、修正が必要な部分だけを選択的に更新することで、既存の推論経路への影響を最小限に抑えられる直感的な理解を与えている。 一方、重要な仮定として、重要なクラスター間遷移を外部から直接ヒントとして与えているが、実際の問題では、そのような遷移がどこなのかは事前には分からない。しかし、実際には重要な遷移を直接指定しなくても、そのままOPSDによって同様の効果が得られるのではないだろうか。 例えば、クラスター内推論は比較的簡単であり、既に十分に学習されており、生徒と教師の予測分布がほとんど変わらず、勾配も小さくなることが期待される。一方、新しい着想が必要なクラスター間の遷移では、追加情報を持つ教師と生徒の予測分布に大きな違いが生じ、相対的に大きな勾配が発生することが考えられる。 教師には少なくとも最終回答は与えることはできるから、詳細なステップはわからなくても大まかな方向を与えることはむしろ容易だと考えられる。 このような仕組みによって、重要な遷移を明示的に指定しなくても、既存のOPSDが既存の能力を維持しながら必要な部分を選択的に学習できている可能性がある。 また、本論文の大きな貢献は、学習対象となる推論過程をグラフ上の探索としてモデル化し、数学的に扱いやすくした点にもある。 グラフ上の探索や確率過程についてはさまざまな理論が存在する。こうした研究と結びつけることで、効率的な推論能力の獲得や、既存の能力を維持した継続学習がどのような条件で可能になるのかを、さらに理論的に解析できるのではないだろうか。
4
33
1
218
19,359
講義中に学生さんがざわつき始めたので「どこか計算間違ってます?」とか聞いてしまったが単に地震だった(全然気づかなかった
12
555
そとさむ
161
竹内研でもこうなってしまうのか,という厳しさがある > 今年はたくさん進行中の論文があるのだけど、主著者の卒業や音信不通で止まってしまうものが多い。僕が動くしかないのだけど、使える時間は限られていて苦しい。 kat.officialblog.jp/archives…
18
167
81,070
11月1日から4日まで開催されたISITA2026に参加しました🌺ポスター発表、座長、口頭発表に加え、AMP第一人者の先生方と議論もできて充実した滞在でした✈️
1
11
450
大量(当社比)のAMPの話を聞いて楽しかった
2
209
【公募】名古屋⼤学 ⼤学院 情報学研究科 複雑系科学専攻 多⾃由度システム情報論講座 准教授(物理学(熱統計⼒学・量⼦⼒学など)と情報科学との境界・融合分野;締切2026年11月30日) i.nagoya-u.ac.jp/wp-content/…
11
4
19
11,046
全部説明が書いてあってすごい
1
1
76
62,077
事前にファミマで代金支払い(現金)という変則的ホテルを選んでしまったため、現地で慌てて払い、一時的に一文無しになっている
1
643
ハロウィンということを忘れてうっかり渋谷で乗り換えてしまった
1
1
607
通路のど真ん中で写真撮影してて、気づいた時はもう撮影者と被写体の間を横切ってる途中だった。わたしが手刀を切って横切ってる姿が誰かの仮装写真に映り込んでると思うと鬱です
4
278
今年のピアノの発表会が終わりました。。。力が入りすぎたのか途中からありえないほど左手が疲れてヘロヘロになってしまった。いつもと違う環境だと力配分を忘れてしまうのかもしれない。反省ばかりである
1
9
862
しかしそのような中でも弾ききることがきっとメタルなのだろう(よく知らない) 今後もピアノでメタルを表現するという目標にむけ頑張りたい
349
某久先生、大変すぎでは。。。?
5
451
電車間違えて遠回りで帰ることになってしまった、さいたま難しい
265
IBIS2026では以下のポスター発表があります。 どうぞよろしくお願いいたします!
5
17
1,570
学長とか理事長を名乗る迷惑メール、流行ってるの?
3
266
数学の人の講演難しい😓モチベが共有できてないところが大きい。間欠的カオスの話とかは面白かった。
1
1
468
数学の人の集まりに参じる際は常に「近似に近似を重ねて大変申し訳ない」「あと(証明など)は皆さんにお任せします」という態度でペコペコしている
203