Kujirachan/くじら

ローカルLLM(GGUF)の中から「性格や話し方を変えるニューロン」を探して、試して、持ち出せるツールを作りました🧠 リポジトリはリプに貼ってます。 元ネタは @_lyraaaa_ 氏の neuron-explorer です。 面白いものを本当にありがとうございます！ Qwen3.5-4B のニューロンを 1 個ずつ押して、何が起きるかを調べる研究ツールです。これを llama.cpp の上で動くように作り直し、手元の GGUF で使えるように汎用化しています(元のコードは使っていません)。 ■ できること ① 探す ・重みを読むだけで、各ニューロンがどんな単語を押し上げるかを一覧できる ・ニューロンを押したとき、次の単語の確率がどう変わるかを測れる ・実際に押して文章を書かせ、ランダムな方向を押した場合と比べて「偶然じゃない変化」を見分けられる ・「悪役 vs 普通」のように目的が決まっていれば、その差から逆引きして全層の候補をランキングできる ② 試す ・複数のニューロンを組み合わせたレシピを作り、同じ質問に「逆に押す/押さない/押す」の 3 列で答えさせて比較できる ・押す強さは「その層の普段の信号の大きさの何倍か」で揃えているので、層が違ってもほぼ同じ感覚で調整できる ③ 持ち出す ・レシピを llama.cpp の control vector として書き出せば、llama-cli や llama-server でそのまま使える ・Llama 系などのモデルなら、レシピを焼き込んだ GGUF も作れる ④ 見る ・全層・全ニューロンを点で描く 3D マップ付き(Web UI、日本語/英語) ・点の色を「押したときの効き目」「狙った方向との近さ」「入力した文章で光った量」などに切り替えられる ・どのニューロンがどのニューロンを押すか、つながりを線で追える ⑤ AI に任せる ・MCP サーバを付けたので、Claude Code などのエージェントに探索からレシピ作成まで任せられる。見つけた候補は Web UI 上で強調・メモして見せてくれる ■ 注意点 ・性格や話題を寄せるだけで、モデルが賢くなるわけではない。強く押すほど文章は崩れる ・Qwen 系・Gemma 系は llama.cpp の仕様上、焼き込みはできない(control vector で押すことはできる) ・MoE モデルは今のところ対象外(できるところまで対応予定。まずは専門家ごとのニューロンを探して押すところから) ・動作確認は Qwen3 / Qwen3.5 / SmolLM2(RTX 3080)。初めてのモデルでは最初に gne verify で確かめるのがおすすめ

Deepseekちゃん可愛いじゃん 夜汐くじらとバトルしようぜ

2Bモデルはニューロンによる制御は難しくて、アテンションヘッドに介入する必要があったし、その方向も定式では不可能だった

俺のツール使っておもろいニューロン見つけたみたい うれしい☺️

あれ、まじでopus5.5アホなんだけどまじでどうなってんだ？

入賞できなかったぜ！みんなおめでとう！！

仕事終わったらハロウィン飯がまってた 今年もすごい

opus5.5があほになっている。。。あほなLLMの文章みせてるからか？

緑いいなぁ

New in gne: mixture-of-experts support, audio input, and per-token attribution for attention heads 🔍 gne now supports mixture-of-experts models. Neurons inside experts are named like 12:E37:N511, and scaling one changes the output only for the tokens that the router sends to that expert. Whole experts can be scaled or switched off, and router biases can be changed on models that have them. gne applies these edits exactly by rewriting the quantization block scales, or the bias, in a working copy of the GGUF, and restores the original afterwards. gne experts contrast ranks experts by how much more often they are selected with a persona prompt than with a neutral one, and by how closely the change in their output points along the persona's direction. gne experts sweep switches experts off or boosts them one at a time. In the UI, each expert has its own panel, the 3D map can be colored by expert usage, and the routing of any pasted text can be inspected token by token. The MCP server offers the same tools. We tested this on Granite 3.1 1B-A400M, LFM2-8B-A1B and Qwen1.5-MoE-A2.7B, including models with shared experts. gne heads listen, which is also the Listen tab of the head panel, runs one conversation and shows how much attention the reply tokens pay to each earlier token in the heads you choose. Given a saved direction, it also attributes the part of those heads' output that lies along it to the source tokens, as attention × gate × W_O·V, including the normalization after attention on architectures that have one. Summed over all heads of a layer, these contributions reproduce the layer's attention output to within 1% on Qwen3, Qwen3.5 and LFM3. A related command, gne writers-export, builds steering vectors from parts of a measured activation difference, for example only one layer's attention output or only a chosen set of neurons, so that each part can be tested on its own. Speech can now be passed to models with audio input. With LFM3-Omni and its mmproj file, the audio itself goes into the model, with no transcription step, through the Python API, the CLI, the OpenAI-compatible endpoint (as base64 input_audio parts) and a microphone button in the UI chat. Two additions help in long conversations. The steering position mode when: skip-replies applies a recipe to the system prompt, the user's turns and the reply being generated, but not to earlier replies; in our tests it kept a persona through a 14,500-token conversation. Recipes and the OpenAI-compatible endpoint also accept DRY sampling, with llama.cpp's parameter names, which keeps the model from repeating its earlier replies word for word in short exchanges.

Qwenputerについて、俺個人のぼんやりとした捉えとして、アナログ回路の塊のようなものにデジタル回路をつっこんでるようなものでなんか背徳的だよね one-hotな書き込みと読み込みなんだっけ？柔軟な考えが出来なくなる代わりに厳格な精度が必要なタスクに効くんやろな そもそもGDN自体を2つに拡張して片方はRISC-V CPUとして扱ってrouter的なものでタスクによってどちらを扱うかとかMoE的な動きができたりしないもんかな そんな単純なものでもないか

応募させてもらいました～ 色々活用できる場面ありそうなんで！

🐳

oh…また便利になってんな

かわよ

久々にしっかり寝た！最近並列で色々やり過ぎて頭パンクしちまうよ

恥ずかしながらRISC-Vを今更知る こんなんあるんやね