社内LLMサーバーのGPU選定【2026年】小さく始めるか、最初から両取りか
本記事はアフィリエイト広告を含みます。
TL;DR
社内にLLMサーバーを建てるとき、最大の分岐は「GPUを小さく始めるか、最初から両取りするか」。これを決める最初の問いは、「動かすモデルが確定しているか、流動的か」 です。
- モデルが確定（当面 14B 程度まで（16GB）／32B 程度まで（32GB）で運用が固い）→ 小さく始める（16GB・省電力ECC の A か、速度重視の32GB の B）。VRAMジャストで安く立てる
- モデルが流動的（今後32B〜70Bも試す・多人数配信・基幹寄り）→ 最初から両取り（48GB ECC の C、さらに上は96GB ECC の D）。天井を上げて買い替えを消す
VRAMが「動くか動かないか」を決め、速度はその次。過少投資の罰＝買い替え二重コスト＋調達待ち。過剰投資の罰＝電気代と遊休。NVIDIA は Tom’s Hardware への声明で、GeForce RTX の需要は強く、メモリの供給が制約されていると述べています。迷ったら両取り寄り、と言いたいところですが、48GB ECC の C は B の3倍を超える価格です。その差を払ってでも買い替えを消したいかで決めてください。
なぜGPU選定で詰まるのか
ローカルLLMの構成で人が止まるのは、将来が読めないからです。
- 小さく買う → 半年後に大きいモデルを試したくなって載らない → 買い替え（二重投資＋調達待ち）
- 大きく買う → 結局小さいモデルしか使わず、電気代と本体代が無駄になる
この不安を消すには、「速度」より先に「容量（VRAM）」で考えるのが正解です。VRAMはモデルがそもそも載るか載らないかを決める絶対的な制約で、速度はその後の話だからです。
大原則：VRAMが「動くか動かないか」を決める
LLM推論は、トークンを1つ生成するたびにモデルの重みをメモリから読み出します。だからVRAMに載らないモデルは、そもそも動かない（システムRAMへの逃がしは実用にならない速度まで落ちる）。
重みの大きさは、次の式でおおよそ見積もれます。
重みの大きさ（GB）≒ パラメータ数（B）× 1パラメータあたりのビット数 ÷ 8
最後の ÷8 は、ビットをバイトに直すための割り算です。よく使われる Q4_K_M という量子化（重みの数字を粗くして、ファイルを小さくする処理）では、1パラメータあたり約4.89ビット。8B なら約4.9GB、70B なら約43GB になります。16bit 版と比べると約1/3.3、32bit 版と比べても約1/6.6 の大きさです。
モデルの大きさ別：重みのサイズ（主に Q4_K_M、公開されている配布ファイル）
| モデル規模 | 重みのサイズ | 代表モデル（出典） |
|---|---|---|
| 4B | 3.3GB | Gemma 3 4B（Ollama 既定の配布） |
| 8B | 4.9GB / 5.2GB | Llama 3.1 8B（Ollama）/ Qwen3 8B（Ollama） |
| 14B | 9.3GB | Qwen3 14B（Ollama） |
| 24B | 15GB | Mistral Small 3.1 24B（Ollama・Q4_K_M・画像入力つき） |
| 27B | 17.98GB | Qwen3.6 27B（Hugging Face・bartowski の Q4_K_M） |
| 32B | 20GB | Qwen3 32B（Ollama） |
| 70B | 43GB | Llama 3.3 70B（Ollama・Q4_K_M） |
サイズは、Ollama・llama.cpp・Hugging Face で公開されている配布ファイルの大きさです（2026年9月25日確認）。速度は GPU・量子化の段階・コンテキストの長さで変わるため、この記事では速度の数字を載せていません。
要点：16GB の GPU では、24B（15GB）は重みだけでほぼ埋まり、残りは約1GB。32GB なら 32B（20GB）、48GB なら 70B の Q4_K_M（43GB、残りは約5GB）が載ります ―― これが容量の壁です。
罠：VRAMは「2回」効く
上の表はモデルの重みだけの数字です。実運用ではここに上乗せが乗ります。
- KVキャッシュ（会話の文脈を覚えておくためのメモリ）: 文脈（コンテキスト）が長くなるほど膨らむ
- 同時ユーザー: バッチ処理で複数リクエストを並列に捌くと、その分VRAMを食う
KVキャッシュの上乗せは、決まった割合では書けません。Qwen3 の公式の設定値から、FP16 の KV キャッシュを計算すると次のようになります（8K・32K は、一度に扱う文脈の長さをトークン数で表したもの。括弧内は重みに対する割合）。
| モデル | 重み | 8K トークン | 32K トークン |
|---|---|---|---|
| Qwen3-8B | 5.2GB | 約1.2GB（約23%） | 約4.8GB（約93%） |
| Qwen3-32B | 20GB | 約2.1GB（約11%） | 約8.6GB（約43%） |
小さいモデルほど、文脈を長くしたときの上乗せの割合が大きくなります。割合はモデルの設計で決まるので、使うモデルの設定から計算してください。
48GB の GPU に Llama 3.3 70B の Q4_K_M（43GB）を載せると、残りは約5GB。KV キャッシュと同時ユーザーの分は、その約5GB でまかなうことになります。16GB の GPU に 24B（15GB）を載せる場合は、残りが約1GB しかありません。社内サーバーは「1人がちょっと試す」のではなく「複数人が長文で叩く」用途になりがちなので、ここを甘く見ると天井に当たります。
構成パターン（マウス DAIV の実機で考える）
調達はマウスコンピューターの DAIV を軸に、B だけは FRONTIER の個人向けの機種も並べます（A は下の購入先に GPU のカード単体の買い先も載せます）。価格は2026年9月25日時点・税込です。
| パターン | 機種 | GPU / VRAM | ECC | GPU の最大消費電力 | 価格（税込・2026年9月25日時点） |
|---|---|---|---|---|---|
| A 小さく始める | DAIV KM-I7N20 | RTX PRO 2000 Blackwell / 16GB | あり | 70W | 629,800円〜 |
| B 速度重視 | DAIV FX-I7G90 | GeForce RTX 5090 / 32GB | 仕様表に記載なし | 575W | 通常価格 1,339,800円〜 |
| B の別の買い先 | FRONTIER の個人向け RTX 5090 機（4機種・受注生産） | GeForce RTX 5090 / 32GB | 仕様表に記載なし | 575W | 1,169,800円〜1,349,800円 |
| C 両取り | DAIV FW-P6N50 | RTX PRO 5000 Blackwell / 48GB | あり | 300W | 4,199,800円〜 |
| D フラッグシップ | DAIV FW-P9N60 | RTX PRO 6000 Blackwell Max-Q / 96GB | あり | 300W | 8,999,800円〜 |
- A（KM-I7N20）: RTX PRO 2000 の16GB・ECC 付きを、GPU の最大70W で動かす構成です。Core i7-14700F＋32GB＋750W 電源のミニタワー。余裕を持って載るのは 14B（9.3GB）あたりまでで、24B（15GB）は重みだけでほぼ埋まります
- B（FX-I7G90 / FRONTIER の RTX 5090 機）: 32GB で、GPU の最大消費電力は575W（NVIDIA はシステム電源に1000W を求めています）。仕様表に ECC の記載はありません。DAIV FX-I7G90 は Core Ultra 7 270K Plus＋64GB＋10GbE＋1200W 電源のフルタワーで、NVIDIA Studio 認定 PC です。FRONTIER の RTX 5090 機は4機種とも受注生産で、保証は1年です
- C（FW-P6N50）: RTX PRO 5000 の48GB・ECC 付きで、GPU の最大消費電力は300W。Threadripper 9960X＋128GB（Registered ECC）＋1200W 電源です。70B の Q4_K_M（43GB）が載り、残りは約5GB です
- D（FW-P9N60）: RTX PRO 6000 Blackwell Max-Q の96GB・ECC 付きで、GPU の最大消費電力は300W（Max-Q 版）。Threadripper PRO 9995WX＋128GB＋Windows 11 Pro for Workstations です。70B の Q4_K_M に長い文脈を足す使い方や、FP16 の 27B 級（Qwen3.6 27B の BF16 は54.66GB）に向きます。70B の FP16 は約140GB で、D にも載りません
24時間動かす前に：保証の範囲
社内サーバーとして買う前に、保証の範囲を確かめておいてください。
- マウス: 保証規定は、PC の24時間連続使用による故障を保証の対象外にしています。分解・改造や、増設部品の接触不良・設定の誤り・改造による故障も対象外です。製品は一般事務用・家庭用・一般産業用を想定している、と規定にあります。DAIV の商品ページの表示は「3年間センドバック修理保証」です
- FRONTIER: 標準保証は1年です。24時間以上の連続使用と、販売後に指定工場以外で行ったハードウェアの交換・増設は、保証の対象外と規定しています
つまり、この記事の用途（社内サーバーを24時間動かし続ける）は、A〜D のどれを選んでも保証の対象外になる使い方です。買う前に、販売元に保証の範囲を確かめてください。
判断の決め手：5つの質問
上から順に答えると構成が1つに絞れます。
- 動かす最大モデルは？ → VRAM下限が決まる（14B＝9.3GB／24B＝15GB／32B＝20GB／70B＝43GB。Q4_K_M・重みだけ。KV キャッシュの分は上の節）
- 同時に何人が使う？ → バッチ分のVRAMを上乗せ（数人なら小、全社配信なら大）
- 24時間無停止で、データが壊れたら困る？ → Yes＝ECC 付きの RTX PRO（A・C・D） ／ No＝RTX 5090（B）も候補。ただし24時間連続使用は、マウス・FRONTIER とも保証の対象外です
- 量子化で品質が落ちると困る（FP16が要る）？ → Yes＝FP16 は Q4_K_M の約3.3倍の容量が要る → 27B 級なら D（96GB）。70B の FP16（約140GB）は D にも載らない
- 省電力・静音で常時稼働したい？ → Yes＝PRO 2000（70W）/ 速度優先なら5090（575W）。C・D の GPU は最大300W
核心：「小さく始める」か「両取り」かの分かれ目
ここが一番迷うところです。判断軸は1つ ―「モデルが確定しているか、流動的か」。
「小さく始める」（A or B）が正解になる条件
- 動かすモデルが当面 14B 程度まで（A）／32B 程度まで（B）で確定している
- 用途が明確で軽い（社内QA bot・議事録要約・コード補助 など）
- 同時利用が数人まで
- まず費用対効果を検証（PoC）してから広げたい
- 省電力・静音で常時稼働したい（→ PRO 2000）
→ VRAMをジャストで合わせて安く立てるのが合理的。用途が固いのに48GBを買うのは、使わない容量に電気代を払い続けることになります。
「両取り」（C か D）が正解になる条件
- 動かすモデルが流動的（今後32B〜70Bも試したい）
- 複数部署・多人数に配信する予定
- ECC が要件（基幹業務寄り）
- FP16精度や長文コンテキストを常用する
- 買い替えコスト（二重投資＋調達リードタイム）を避けたい
→ 最初から天井を上げて、買い替えそのものを消す。
決め手の一言と、損得の非対称
確定なら小さく、流動的なら両取り。シンプルですが、罰の重さが左右で違う点が判断を後押しします。
- 過少投資の罰：半年後に載らない → 買い替え（本体＋GPUの二重コスト）＋調達待ちで業務が止まる
- 過剰投資の罰：電気代と遊休（ただし動き続けはする）
NVIDIA は Tom’s Hardware への声明で、GeForce RTX の需要は強く、メモリの供給が制約されていると述べています。 罰の重さがこう違うので、少しでも流動的なら、両取り側（C か D）に倒すという考え方になります。ただし C は 4,199,800円〜で、B の DAIV（通常価格 1,339,800円〜）の3倍を超えます。その差を払ってでも買い替えを消したいかで決めてください。逆に用途がカチッと固いなら、小さく始めて浮いた予算を別に回すのが合理的です。
GPU を後から入れ替える前に
「まず B で建てて、あとで GPU だけ大きいものに入れ替える」という考え方もあります。ただ、次の理由で、この記事では勧めません。
- DAIV FX-I7G90 の PCI Express ×16 は3本で空きは1本ですが、2本目と3本目は ×4 で動作します。GPU を大きくするなら、1本目に挿さっているカードの差し替えになります
- マウスのページに「換装可」の記述は見当たりません。自分で GPU を入れ替えると、マウスの保証規定では、改造や増設部品による故障が保証の対象外です。FRONTIER の保証規定は、販売後に指定工場以外で行ったハードウェアの交換・増設そのものを対象外にしています
48GB ECC が要りそうなら、最初から C（FW-P6N50）を検討してください。
なお、小型ミニPC（dGPU 無し）を選ぶと、GPU を入れ替える道が最初から無くなります。一方で、dGPU とは別の仕組みで大きなメモリを使うミニPCもあります。
dGPU とは別の解：ユニファイドメモリのミニPC（GMKtec EVO-X2）
GMKtec EVO-X2 は、AMD Ryzen AI Max+ 395（16コア32スレッド）を積んだミニPCです。GPU は内蔵の Radeon 8060S（40コア RDNA 3.5）で、dGPU（独立した GPU）は積んでいません。メモリは LPDDR5X-8000 の64GB か128GB で、購入時に選びます。
GMKtec は、CPU と GPU がメモリを共有する「ユニファイドメモリ的な使い方」ができ、専用 VRAM を持つ dGPU とは仕組みが違う、と説明しています。同時に、巨大モデルを常に快適に回すには限界がある、とも書いています。仕組みが違うので、上の表の「GPU の容量ごとに載るモデルの大きさ」は、この機種にはそのまま当てはまりません。DAIV の A〜D と同じ物差しで比べる機種ではなく、別の選択肢として見てください。
この記事では、メモリの大きい128GB の構成の価格だけを載せます。GMKtec 公式ストアでの価格は、店頭表示 ¥566,999（2026-09-25 時点・128GB＋1TB）で、在庫ありでした。
買う前に知っておきたい点もあります。
- ECC の記載がない: EVO-X2 の公式の商品ページと解説ページには、ECC の記載がありません。A・C・D の RTX PRO との違いです
- dGPU を足す道がない: EVO-X2 に外部 GPU をつなぐ OCuLink の記述はありません。外部 GPU の増設に対応とうたっているのは、姉妹機の EVO-X3 です
- 保証は1年です
- セール商品は返品できない: GMKtec の返金ポリシーには、セール商品は返品を受け付けないとあります。買う前に、選んだ構成がセール商品として売られていないかを商品ページで確かめてください
GMKtec EVO-X2 AMD Ryzen™ AI Max+ 395 ミニPC
まとめ
| 状況 | 推奨 | 理由 |
|---|---|---|
| 用途が固い・14B 程度まで・数人・省電力 | A KM-I7N20（PRO 2000 16GB ECC） | ECC 付き・GPU は最大70W。過剰投資を避ける |
| 速度優先・32B 程度まで・PoC〜小規模 | B FX-I7G90 か FRONTIER の RTX 5090 機（32GB） | 32GB。ECC の記載はない |
| モデルが流動的・多人数・ECC が要る | C FW-P6N50（PRO 5000 48GB ECC） | 70B の Q4_K_M（43GB）が載る。最初から両取り |
| 70B に長い文脈を足す・FP16 の 27B 級 | D FW-P9N60（PRO 6000 96GB ECC） | 要件が出てから |
GPU選定は「速度」より「容量（VRAM）」が先。そして「確定か流動的か」で小さく始めるか両取りかが決まります。迷いがあるなら両取りに倒す手もありますが、C は B の3倍を超える価格です。その差を払ってでも買い替えを消したいかで決めてください。また、社内サーバーとして24時間動かすなら、どれを選んでも保証の対象外になる使い方です。
各構成の購入先
A 小さく始める
- DAIV KM-I7N20（RTX PRO 2000 16GB ECC）
- GPU を挿せる PC がすでに手元にあるなら、ELSA の RTX PRO 2000 Blackwell 16GB のカード単体という手もあります。商品ページには国内正規代理店製品・メーカー保証3年とあり、70W・補助電源なしで動きます。カード単体なので、PC 本体（CPU・メモリ・電源）は付いていません。手元の PC がマウスや FRONTIER の機種なら、上の「GPU を後から入れ替える前に」の保証の話がそのまま当てはまります。価格は Amazon の商品ページで確認してください。ELSA RTX PRO 2000 Blackwell 16GB（カード単体）をAmazonで確認する
B 速度重視
B（RTX 5090・32GB）は、FRONTIER の個人向けの機種から選べます（4機種・受注生産・販売価格 1,169,800円〜1,349,800円（税込）・保証1年）。A・C・D に当たる RTX PRO（ECC 付き）の機種は、FRONTIER の個人向けのページでは見つからなかったため、FRONTIER は B だけに並べています。
- DAIV で選ぶなら: DAIV FX-I7G90（RTX 5090 32GB）
C 両取り
D フラッグシップ
※価格は2026年9月25日時点（DAIV は2026年9月30日にも同じ価格を確認。DAIV・FRONTIER は税込。GMKtec は公式ストアの店頭表示）。最新は各製品ページで確認してください。
増設パーツ（参考）
WD Black SN850X 2TB（NVMe Gen4 M.2）
モデルファイルはサイズが大きく（70B の Q4_K_M で43GB）、いくつか試すとストレージを使います。対応ソケット（M.2 PCIe 4.0）は各機種のマニュアルで確認してください。
WD Black SN850X 2TB をAmazonで見る
Kingston FURY Beast DDR5-5200 32GB（16GB×2）
DDR5へのシステムRAM増設を検討する際の参考として挙げます。ただし、FX-I7G90で128GBへ増設する場合のマウス推奨は「DDR5-5600・32GBモジュール×4」構成であり、このキットとはクロック・モジュール容量構成が異なります。増設前に必ず自機の対応規格・スロット数・最大容量をマウスの仕様ページと自機マニュアルで確認してください。マウスの保証規定では、増設部品の接触不良や設定の誤りによる故障は保証の対象外です。