Toshiaki Maki (@making) header
Toshiaki Maki (@making) profile picture

Senior Principal Architect at @VMwareTanzu / @Broadcom | Ex @Pivotal | Bichon Frise 🍋🐩

Tokyo, Japan
Joined April 2007
Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)Photo by Toshiaki Maki (@making)
Qwen4、397B-A17Bくらいのモデルまた出してくれないかなぁ... DGX Spark 1台で収まるサイズのモデルだと試す気にならないな。
335
更新版を使ったらClaude Codeでもそんなにストレス感じなくなりました。しばらくDeepSeekを様子見。
Important updates and fixes have been pushed to DeepSeek V4.1 Flash for 4x DGX Sparks ⚡️ This update includes 7 community PRs! Performance - Chats with images: resending a 35-image chat dropped from 20 s to 1 s (20x faster) - No more waiting: a short question asked during a long 51k-token prompt now answers in 0.3 s instead of ~13 s - CPU use per machine dropped from ~310% to ~0.2% (about 12 CPU cores freed) when on idle More reliable - Long prompts no longer time out clients (a keep-alive signal every 15 s) - Safer start/stop scripts - The test tools can’t report a false “pass” anymore Also, /metrics now shows how many prompt tokens came from the cache (prompt_tokens_cached_total), so dashboards can tell cache hits from real prefill work Thanks to @easthambuilds, @krunkosaurus, @uchkw, Manuel (manuel1618), and SvangenStudios, plus upstream TensorFold work by @jayleaton, @ashxhart and @BobClawblaw 🙏 Get it here: mia-ai.net/models/DeepSeek-V…
275
ふるさと納税の寄付金の使い道、"少子高齢化対策"ってのやめてほしい。高齢化対策ではなく、少子化対策に使って欲しい。
5
381
Claudeと相談した結果、EXL3の3.5〜3.75bpwの量子化がオススメで、既存のモデルはないので自作しろ(作業はClaude Codeがやってくれる)、とのことです。
Muse Spark Openを4 x DGX Sparkで動かせる量子化モデル誰か作ってくれないかな...
289
自分で量子化する機運... LLM沼だな
120
Muse Spark Openを4 x DGX Sparkで動かせる量子化モデル誰か作ってくれないかな...
1
1
979
Toshiaki Maki retweeted
GLM-5.5-Flash、いよいよ来るのか! また寝不足の日が続くぞ。TensoldFold での稼働確認と、重みの XSFP 複合精度化と。アーキテクチャレベルから刷新されてたら、論文読んでから取り掛からないといけない。だれか建設の経営変わってくれんかなw
Looks like next Zhipu models is going to be from GLM-5.5 family GLM-5.5-Flash is now listed in OpenCode. opencode.ai/data/zhipu/glm-5…
1
4
388
カットするかもしれないけど、こんなマニアックな話、聞きたい人いるかな...
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。 making.github.io/rontolisp/d…
418
どのファンでどのくらいの効果があるのかぜひ知りたいです
DGX Spark x 2 向けにファンを買って見たが、静かでとても良い。
1
1,293
DeepSeek V4.1 Flash 1017やるならPiがいいのか。また試すかも。
I repeated DeepSeek V4.1 Flash 1017 benchmark 89 times across 9 harnesses to understand which works best. High effort, 5 attempts each: Pi harness: 40.4 Grok Build CLI: 40.4 DeekSeek: 39.2 OpenCode 2.0: 38.6 OpenCode: 36.6 Claude Code: 36.4 Codex: 33.2 Hermes Agent: 32 Kilo Code: 31.8 Codex kept failing several times exceeding the allowed time per repo (3 hours) and was judged where it finished. Based on what I tested, Pi, Grok Build CLI, and OpenCode 2.0 look like the strongest universal harnesses. This doesn't necessarily generalize. A detailed table with every run in the response🧵
284
GLM 5.3 Flashに戻し始めた。
DeepSeek V4.1 Flash (4x DGX Spark)、試したけど、GLM 5.3 Flashの方が好みかな。tok/sは速いけど、ものができるのが遅い。GLMに慣れると余計感じる。
1
319
多分、自分はDeepSeek-V4.1-Flash-1017が合わないのは、ハーネスがClaude Codeだからだと思う。DeepSeek Harnessだったら違ったかもしれない。でも、Claude Codeで統一したいし、GLM 5.3 Flashなら快適に使えるからね。
1
1
608
DeepSeek V4.1 Flash (4x DGX Spark)、試したけど、GLM 5.3 Flashの方が好みかな。tok/sは速いけど、ものができるのが遅い。GLMに慣れると余計感じる。
1
1
3
795
速いんだけど、考えすぎなんだよなぁ...DeepSeek
183
Q. Claudeが不要になりますか? A. いいえ、よりClaudeに依存します(セットアップ丸投げ)。Claudeがないとセットアップもチューニングもできません。
Q. ローカルLLMなぜやってますか? A. 楽しいから。 Q. 機材買ってペイできますか? A. ペイできない。ペイできる能力あるなら社畜やってない。 Q. ローカルLLMで儲かりますか? A. NVIDIAが儲かります。 Q. ChatGPTやClaudeで十分では? A. その通りです。 Q. API使った方が安くないですか? A. それ以上はいけない。 Q. クラウドの方が速くないですか? A. 速いし安い。以上。 Q. 電気代は? A. 計算しないことにしている。 Q. 128GBもメモリ必要ですか? A. 128GBしかないんです。 Q. ローカルLLMのメリットは? A. 自分で全部管理できる。 Q. デメリットは? A. 高い。 Q. DGX Sparkもう1台買うんですか? A. 止めてください。 Q. ローカルLLMは将来性ありますか? A. わかりません。 Q. 何の役に立つんですか? A. こっちが聞きたい。 Q. 結局、何がしたいんですか? A. 私にもわからない。
1
12
3,043
JJUG CCCで「Common Lisp処理系を50万行のJavaで作る — JVMバイトコード生成、Wasm、そしてClaude Codeとの付き合い方」という話をします rontolispの投稿に全く「いいね」がつかないので、あまり聞きに来る人がいないと予想していますが面白くします。ronotlispの話は↓で。 making.github.io/rontolisp/d…
3
1
5
1,072
最高だ。試すしかない
Run DeepSeek V4.1 Flash 1017 with the full official weights on your 4x DGX Sparks, using TensorFold, Abliterated! 🔥 - Full support for switchless TP4 - 1M context, 16M total KV cache - 16 concurrent sessions with 1M each - 15 GB of free mem per Spark after load - OFFICIAL weights, no further quantization! - Needle passed at 100% depth - ABLIT is off by default. Gated. Performance tested on a switchless TP4. It should be faster with a switch. Decode speeds, non-greedy, thinking on: - 66 tok/s on prose, single stream - 96 tok/s on prose, 2 concurrent streams - 173 tok/s on prose, 16 concurrent streams Decode speeds, greedy, thinking off: - 85 tok/s on prose, single stream - 113 tok/s on prose, 2 concurrent streams - 210 tok/s on prose, 16 concurrent streams Decode speeds per stream in deep context (128k), non-greedy, thinking on: - 58.6 tok/s on prose, single stream - 83 tok/s on prose, 2 concurrent streams - 132 tok/s on prose, 8 concurrent streams Prefill: 4000+ tok/s up to 256k. This is the best model to run if you have 4x DGX Sparks, bar none! It works so well on the Sparks that it's unbelievable. Get it here: mia-ai.net/models/DeepSeek-V…
1
378