ローカルLLMを家のGPUで動かし、速さとVRAMを実測するブログ「ローカルAIラボ」の中の人。ChatGPT・Claude・Gemini・Grokを仕事と暮らしでどう使うかも、自分で試したことだけ発信します。
日本 / Tokyo
Joined May 2026
- Tweets172
- Following170
- Followers93
- Likes332
Pinned Tweet
VRAM 6GB／12GBで動くローカルLLMを、実測値で1本にまとめました。
・12GB：Ternary Bonsai 2 27Bが平均56.0 tok/s
・6GB：MiniCPM5-2Bが114.59 tok/s
・6GB：LLM-jp-4.1 32B-A3Bも17.92 tok/s
17モデル・50行、すべて実測値です。
localailab.org/local-llm-vra…
#ローカルLLM
PFNの翻訳特化LLM「PLaMo 3 Translate」が公開。0.8B〜31Bの4サイズで、どれもGGUF版あり。
0.8Bは53言語対応で、ネットなしのスマホでも翻訳できるそうです。個人・非商用は無料、商用も売上10億円以下なら登録で無料。
翻訳だけ手元で回せるのは地味にありがたい。
nitter.cf/pc_watch/status/211816…
つい先日までとサーバーのセキュリティ対策を、Claudeに聞きながら一つずつ手作業でやりました。
WAFや2段階認証、更新など、画面を行き来するのが地味に大変だったので、Claudeから直接確認や設定ができるのはかなり助かりそうです。
nitter.cf/xserverjp/status/21178…
「XServer API」がClaudeコネクタに対応し、MCPサーバーのインストールやAPIキーの手動登録なしで、Claudeからサーバーの情報確認や各種設定ができるようになりました。
接続後は、「このサーバーで利用できるPHPのバージョンを教えて」など、チャットで手軽に指示できます。
詳しくはニュースページをご確認ください。
xserver.ne.jp/news_detail.ph…
無料で試せるステルスモデル、気になりますよね。
ただ、入出力は学習に使われなくても、匿名のプロバイダに保持される可能性があるとのことなので、
試すなら、仕事の資料や個人情報は入れず、公開されても困らない内容だけにするのが安心です。
nitter.cf/yoppy0123/status/21177…
「AIはこれが苦手」という話、1年半ほどで古くなるかもしれません。
スタンフォード大の研究で、よく引用されるLLMの主張50件を20モデルで再検証したら、44%はもう当てはまらず、34%は弱まっていたそうです。
AIの使い方の記事を読むときは、書かれた日付も見るのがおすすめです。
消えたのは、文字を数える、長い文章の途中の事実を探す、ありもしない引用を作るといった苦手。逆に残ったのは、ユーザーに同意したり褒めたりする傾向でした。
zou-group.github.io/llm-clai…
RTX 5000シリーズのメーカー在庫がほぼ枯渇、旧世代を勧める動きも出ているとのこと。
国内ではRTX 5060が約1か月で約22%値上がりし、RTX 3060 12GBとRTX 5050がどちらも約6万円（GAZLOG）。
ローカルLLM目線だと、同じ値段ならVRAM 12GBの旧世代を選ぶ人が増えそうです。
nitter.cf/gazlog_blog/status/211…
GeForce RTX 5000シリーズのメーカー在庫がほぼ枯渇
一部メーカーは代理店にRTX 3060やRTX 3050など旧世代GPUの販売を推奨
国内ではRTX 5060が約1か月で22%値上がり
RTX 3060 12GBとRTX 5050はともに約6万円
gazlog.jp/entry/geforce-rtx-…
LLM-jpのチューニングコンペ、今回のテーマはコーディングエージェント。
申込締切は11月20日で、計算資源の貸与も希望すれば申し込めるとのこと。
国産モデルをエージェント用途にどこまで寄せられるのか、結果が楽しみです。
nitter.cf/llm_jp/status/21171443…
コーディングエージェントをテーマとするLLM-jpチューニングコンペティションの参加受付を開始しました！
参加申込締切は11月20日（日本時間）です。計算資源の貸与を希望するチームは、参加登録と併せてお申し込みください。
詳細・参加登録はこちら：llm-jp.github.io/tuning-comp…
「Anthropic Mythos級の14兆パラメータ重みがHFに流出」は偽物でした
・7.72TBの重みは、ファイル名のSHA-256とNumPyの乱数から作られたもの
・カスタムPython入りなので trust_remote_code=True で読み込まないこと
誰も動かせない大きさ＝検証されにくい、を突いた手口
A "14-trillion-parameter Anthropic leak" hit Hugging Face this weekend. It took the community hours to prove it was noise. Literally.
The repo (burner22/numbat) claimed 7.72 TB of Mythos-class weights, 1,224 experts, and training metadata tied to a real internal codename. Looked convincing on paper.
Then people actually opened the tensors. Dozens of them matched, exactly, the output of a NumPy random generator seeded with each tensor's own name. No training ever happened.
The engineering takeaway is bigger than one hoax:
- A file size and a config.json prove nothing. Real weights have structure: non-uniform distributions, outliers, low-rank patterns. Random init does not.
- Check provenance before you download terabytes: who uploaded it, is it signed, does an official account point to it?
- Never load unverified checkpoints in pickle formats. Prefer safetensors, and run unknown files in an isolated environment.
- Cheap statistical checks (per-tensor mean/std, histogram, "can I regenerate this from a seed?") beat hype every time.
Open platforms made the fake easy to publish, and just as easy to audit. @huggingface @AnthropicAI
#AI #MLSecurity
国産LLM「PLaMo 3.1 Prime」、API無料プランで試せるようになった
PFNの発表によると
・ハルシネーション関連8ベンチで3.0 Prime比 平均約15%改善
・投機的デコーディングで最大1.7倍高速
・有料は100万トークンあたり入力60円・出力250円
・PLaMo ChatのDeep Researchは11/30まで1日2回無料
国産を「まず触ってみる」ハードルが一段下がった。
出典: PFN発表 preferred.jp/ja/news/pr20261…
技術ブログ preferred.jp/ja/blog/tech/pl…
