16GB GPUで動く正気のローカルLLM

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🔰LLMオタクの末路は3つあります

最初はみんな、今持ってるノートPCやデスクトップで始めます。
CPUか、貧弱なGPUでも動く小さいモデルです。

そこでやめられる人は軽症です。
noteに「無料AI試してみたけどChatGPTの代わりにはならなかった」と記事を書いて終わり。

もう少し興味が出てしまった可哀想な人は、16GBのGPUが付いたゲーミングPCを買います。ゲームなら十分すぎるスペックです。

でも「Qwen3.8-27BやGemma4-31Bがいいらしい」と聞いて調べ始めて、その16GBでは足りなさそうだと気づいた時点で、もう終わりです🥺

そこから先に調べると、この3つが出てきます。全部、値段が上がってます👇

普通の道：中古のRTX 3090 24GB

うちの3090は12万円で買いました。今は22万円です。
裏面にまでメモリがびっしり並んでいて冷却不足なのに、マイニングやAIで24時間酷使された個体が中古に大量に出てます。
買うのは賭けです。

重度の道：中華通販

データセンターから放出されたV100 32GBがアリエクで13万円前後。
2080 TiのVRAMを22GBに魔改造した品が10万円。
3080を20GBにした魔改造品は、3090の代わりとして暴騰して14万円以上。

当然何の保証もなく、怪しすぎるうえに、動画生成AIの大流行の影響でもう安くもなくなってしまいました。
あと2018年のV100はソフトウェアサポートが切られ始めてます。

富豪の道：新品の大容量

DGX Spark 128GBは、発売時の初値が税込70万円でした。
今は100万円です。

RTX PRO 6000 Blackwell 96GBは、2025年5月に162万円でした。
今は最安292万円で、価格.comだと343万円です。
GPU1枚で、後で出てくる21万円のPCが14台組めます。

RTX 5090 32GBは最安94万円。
定価の2.4倍です。
動画生成AIの需要が爆発し、9月11日に在庫が消えました。

+‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥+

白状しておくと、うちのLLMサーバーは3090とV100の2枚で56GB VRAMです。
普通の道と重度の道を、両方歩きました🥺

V100を中華通販で集める時は詐欺出品もあり、大変な目に遭いました。1枚壊したし、本当に素人は手を出すもんじゃないです。

今回は、その56GBのサーバーと、16GB VRAMを積んだ21万円の寄せ集めPCが、同じ速さを出せている話です。
詳しくはあとで。

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🤔PCを組みたくない人はMacです

健康な人は4つ目の道としてMacに手を出します。
PC組み立てなくていいのが、Macの利点です。

Qwen3.8-Flash-NextモデルがいくらのMacでどれくらいの速さで動かせるか調べてみました。

M1 Max 64GB MacBook Pro（中古24万円）

生成速度16~26 t/s。読むのは150〜170 t/s

M5 Max 128GB Mac Studio（新品887,800円）

生成速度62~126 t/s。読むのは1450 t/s

中古のM1 Maxなら、21万円のPCにちょっと足せば手が届きます。
ただ速さは3分の1で、読む速さは6分の1です。

新品で64GBはM5 Pro 64GB Mac mini (新品515,800円)がありますが、発売直後というのもあって記録が見つけられませんでした。

富豪の方、お願いします🙏

─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🌸正気の道は、VRAMを買わないことでした

今までの4つとも、27Bを載せるためにVRAMを買う道でした。

ただ、正気で買える新しいGPUは、16GBまでしかありません。
5060 Tiが中古12万円。5080は16GBのまま27万円。
32GBになると突然100万円コースです。しかも売り切れ。

でも16GBだと、27Bも31Bも載りません。
最初に詰まった、あの16GBです。

普通はここで妥協します。

Qwen3.6-35B-A3BやGemma4-26B-A4Bのような、同じくらいの大きさのMoEモデルに行きます。
1トークンごとに計算する部分が小さいので、VRAMに全部収まらなくても満足な速さで動くからです。
代償は賢さです。27Bや31Bより、明確に劣ります🥺

ところが、もっと大きい177Bが載るようになりました。

Qwen3.8-Flash-Nextモデルです。Qwen3.8-27Bと同じ3.8と付いてますが、中身はQwen4の先行版で、全く別物。名前詐欺です🥺

このモデルは、1トークンを書くのに177Bのうち6Bしか計算しません。残りの知識はRAMとSSDに置く前提で作ってあります。
VRAMとRAMを抑えつつ、賢さだけを177Bまで積んだ設計です。
だから27Bが載らない16GBに、177Bが載るということです。

このモデル専用のエンジンStrataを見つけ、中古パーツ21万円のPCに入れたら、46 t/sで動きました。読むのも800 t/s 出ます。

56GBのサーバーと同じか速いくらいです🌸

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🔧中古パーツをかき集めて作るPCの中身

今の中古相場なので、同じものが21万円くらいで今そろえられます👇

• RTX 5060 Ti 16GB：12万円

• DDR4-3200 32GB×2：4.5万円

• Ryzen 5 5500GT：1.5万円

• SSD 1TB：1.5万円

• B550 mini-ITX：1万円

• CPUクーラーと電源：6千円

• ケース：無し（剥き出し）

半分以上がGPUです。
残りは一世代前の型落ちで、特別な部品は1つもないです。
強いていえば、アリエクでmini-ITXマザーボードを買ってくるくらいです。

+‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥+

CPUは旧世代AM4の6コアです。安かったから5500GTにしただけでなんでもいいと思います。
推奨スペックは新型AM5のRyzen 5 7600とDDR5ですが、一世代古いこれでも十分な速度が出せます。DDR5の64GBは15万円、DDR4なら4.5万円で10万円もコストカットできます。
マザーもGen3のx8でしか繋がってませんが、それで足りました。

譲れないのは、RAM 64GBとGPU 16GBの2つだけです。
40GBのRAMを確保するので、32GBでは確実に動きません。

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🌸46 t/sがどれくらいの速度か比較

128k コンテキスト使う前提で速度を計測しました。

5080とDDR5 128GBのゲーミングPCを、Claudeにllama.cppを改造させて詰めたのが24 t/s。
その倍出てます。

56GBのサーバーは最初は60出ますが36 t/sまで速度が落ちてきます。

Strataのページに載っている値は、RTX 5070とDDR5で45.8 t/s。
うちの21万円と同じです。
5070はVRAMが12GBしかないので、DDR5でも速度が出ないってことです。

+‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥+

Strataを見つける前に、72時間ぶっ通しで量子化を詰めてました

5080のPCで速度を出したくて、数百GBの元モデルをDLし、自分で量子化を72時間試行錯誤し続けて、24から35 t/sまで来てました。

今日Strataを入れたら73 t/s出たので、3日ぶんは全部消しました🥺
数百GBがSSDから消えていきました。
量子化を詰めるより、エンジンを替えるほうが効きました。

+‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥‥+

Strataが16GBでやってることは、台所と同じです。

よく使う物はカウンターに、残りは引き出しに。

毎トークン使う3.5GBだけをVRAMに置いて、エキスパートはRAMに固定して、知識の表28.8GBはSSDに置きます。
VRAMに余裕があればよく使うエキスパートを保持しておきます。この工夫で81%のエキスパートはVRAMにとどまり、高速化できます。
外れた19%の部分も、GPUが計算しているのと並行してCPUがRAMの上で計算して、PCのスペックをフルに使って高速化しています。

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

🌸で、このモデルは賢いのか

エージェントコーディングで使っています。
以前の記事の3Dレースゲームの課題を、piから投げて1回で完走しました。
自分でヘッドレスChromeを開いて確かめることを要求したら、スクリーンショットも撮って自分で改善していました。

以前の記事で「新しい量子化は日本語を忘れていた」と書きました。
今回の量子化で小説を10冊書かせて、「，」も英字も中国語もゼロでした。
忘れてませんでした🌸

★─── ⋆⋅ ★ ──────────── ★ ⋅⋆ ───★

💰まとめ　価格性能比

1 t/sの速度を出すための値段です。

• 21万円の寄せ集め：46 t/s。約4,600円

• 5080のゲーミングPC（約79万円）：73 t/s。約1.1万円

• M5 Max 128GB Mac Studio（887,800円）：62 t/s。約1.4万円

• 56GBのサーバー（約51万円）：36 t/s。約1.4万円

• M1 Max 64GB MacBook Pro（中古24万円）：16 t/s。約1.5万円

• 64GBのMac mini、DGX Spark、PRO 6000、5090：？？？

寄せ集めの旧型PCが、一番安いです。
PC組みたくない人は中古のM1 Max。
組める人は、3万円安くて3倍速くできます🌸

それではまた🌸