Naoki@Radxa

【Qwen3.8-Flash-Nextのコンテキストを1Mへ拡張するFlare用ランタイムパッケージ】 オープンウェイトモデル「Qwen3.8-Flash-Next」（ベース: `nvidia/Qwen3.8-Flash-Next-FP4-Local`）のコンテキスト長を、ネイティブの256k（262,144トークン）から1M（1,048,576トークン）へ拡張したNVIDIA Flare推論エンジン用のカスタムランタイムパッケージがHugging Face上で公開されました！ チェックポイント自体は変更せず、宣言型・周波数のみのYaRNスタイルRoPE補間をロータリテーブルに焼き込む手法を採用しています。RTX PRO 6000（Blackwellアーキテクチャ・SM120）ユーザー向けに、単一GPU用のTP1とデュアルGPU用のTP2イメージが用意されているのが特徴ですね。 TP1パッケージは同時リクエスト数8、ロード時のKVキャッシュ18.8 GiB（約135万トークン）で動作し、TP2パッケージでは同時リクエスト数32、KVキャッシュ103.1 GiB（約711万トークン）をサポートします！サービング時にPythonランタイムが不要で、ロード時間が60秒未満と高速な点も実務で嬉しいポイントです。 なお、ネイティブ学習長を超える拡張となるため150k〜250k以降での精度低下やハルシネーションの懸念もありますが、エージェント側での自己修正ループを組み合わせることで運用上の実用性を確保しているとのことです！ #Qwen #NVIDIAFlare

【10種類のコーディングエージェントをローカルQwen 27Bで徹底比較！】 同一のローカル大規模言語モデル（Qwen 27Bクラス）と推論バックエンド（llama.cppのllama-server）を使い、10種類のコーディングエージェントを実行した性能比較の検証結果が公開されました！ 正答率は多くのエージェントで4/5または5/5と高水準でしたが、消費トークン数には約9kから108k以上という極端な開きがあることが分かっていますね。 最もトークン効率が良かったのはPiで、タスクあたり約9.2kトークン、処理時間38秒と圧倒的な無駄のなさを示しました！一方でQwen Codeは約107.9kトークンを消費し、リネームタスクでタイムアウトを引き起こすなど設計による効率の差が浮き彫りになっています。 また、Atomic Agentは唯一llama.cppのネイティブエンドポイントを直接利用し、文法制約でツール呼び出しを強制することで86%の高いキャッシュ再利用率を記録しました！実運用におけるコストや挙動の違いを知る上で非常に面白いポイントですね。 #ローカルLLM #コーディングエージェント