ローカル GPU 構築のコスト全体像 — 購入〜運用

「ローカルLLM」という言い方は単純に聞こえるが、実際には複数のコストが重なっている。（1）GPU購入：RTX3060で$200-300（中古），RTX4080で$800-1000。（2）マザーボード・メモリ・電源：$500-800。（3）ラック・冷却システム：$300-600（複数枚運用の場合）。（4）電気代：年間$1000-2000（平均稼働率による）。（5）メンテナンス・トラブル対応：時間コスト。これらを足し上げると、イニシャルで$3000-5000、年間ランニングで$2000-3000という水準になる。

実際のオンプレミス構成例 — RTX3060×2、RTX4090×1の年間総コスト

現在一般的な「ローカル環境」の構成を想定しよう。RTX3060 12GB×2枚の構成だと：初期投資$2500（GPU+周辺機器）、年間電気代$1200（毎日12時間稼働、1000W消費、$0.12/kWh想定）、保守費$500 = 年間総コスト$3200。一方、RTX4090単騎の場合：初期投資$3500、年間電気代$1800（高消費電力のため）、保守費$500 = 年間総コスト$4300。つまり同じ投資額なら、複数枚×低消費電力の方がランニングで有利になる。

AWS / Azure / GCP の大言語モデル API 相場（2026年）

AWSのBedrock経由でClaudeを使う場合、入力トークン$0.003/1000、出力トークン$0.015/1000（2026年レート）。平均的な質問応答であれば、1回$0.01程度が見込める。一方、OpenAIのAPI経由だと数倍高い場合もある。Azureはスポット価格で割引されることが多い。月額で見ると、1日100リクエスト程度の小規模利用なら$30-50、1000リクエストなら$300-500という水準。

チームサイズ別シミュレーション

【1人開発者の場合】月間$100-300のAPI利用 vs ローカルイニシャル$3000+年$2000。この場合、最低3年は続けないとペイしない。たまにしか使わないなら圧倒的にAPIが安い。ただし、毎日使う人なら1年でペイする。【スタートアップ10名の場合】月間$2000-5000のAPI利用が想定される。年間$24,000-60,000。この場合、ローカル構築（初期投資$15,000+年間$10,000）の方が3年スパンでお得になる可能性が高い。ただしオペレーション負担は増す。【エンタープライズ100名の場合】月間$30,000-100,000がAPI側での支出。年間$300,000-1,200,000。この規模なら、GPU数十枚のオンプレミス構築（初期投資$100,000+年間$50,000）の圧倒的な割安さが効いてくる。

初期投資が痛い企業こそローカルが勝つ理由

一見矛盾しているようだが、初期投資が大きいほどローカルのメリットが出るという逆説がある。理由は「固定費化」だ。API利用は毎月かかる変動費であり、上限がない。一方、ローカルは初期投資後、ランニングコストが決まっており、スケーリングによって単価が下がっていく。つまり、「最初の大きな投資に耐える資金力がある」企業ほど、ローカルで長期的に利益になる。現金流が不安定なスタートアップはAPIに頼り、成長して資金が潤沢になったら自社インフラへ移行する、というのが実際の業界動向だ。

クラウドの方が安いケース — 実は大多数？

「ローカルが安い」という議論には落とし穴がある。実は、ほとんどの利用シーンではクラウドの方が安い。理由は：（1）利用量が不安定なことが多く、ピークを見込んでGPUを購入すると無駄になる。（2）モデルの入れ替えが激しく、昨日買ったGPUが数ヶ月で陳腐化する。（3）運用スタッフの給与が隠れたコストになっている。これらを踏まえると、「利用量が読める大企業」「運用スタッフを抱える余裕がある企業」の一部だけが、ローカルで利益になる。

隠れたコスト：人員・メンテナンス・セキュリティ

忘れられやすいのが「人員コスト」だ。ローカルGPUを「安定稼働」させるには、オペレーション専門人員が必要だ。冷却システムの監視、ドライバ更新、トラブル対応——これらを「無視できるコスト」と考えるのは危険だ。また、セキュリティの観点からも、自社インフラを保有することは「責任を引き受ける」ことになる。クラウドなら、セキュリティはプロバイダに委任できる。これらの隠れたコストを含めると、実際のTCOはかなり割高になることが多い。

意思決定のチェックリスト

自分たちの企業・チームでローカルかクラウドかを判断する際の チェックリスト：

• [ ] 月間のLLM API利用量は予測可能か？（±20%以内）
• [ ] 年間$50,000以上のAPI費用が見込めるか？
• [ ] GPU運用の専門人員（1名以上FTE）を確保できるか？
• [ ] 初期投資$50,000-200,000を3年で償却できる経営判断があるか？
• [ ] データの自社保有（クラウドへの流出を避けたい）が要件か？
• [ ] モデルの更新サイクルは1年以上の安定性が見込めるか？
• [ ] セキュリティコンプライアンスでクラウドより厳しい要件があるか？

これらのうち、5個以上「YES」なら、ローカル検討の価値がある。3個以下なら、クラウド一択がお勧めだ。

実例に基づくコスト積み上げ表

より詳細には以下の通り（実測データ）：

ローカルLLM（RTX3060×2）の年間内訳：

• 初期投資（3年償却）：$2,500÷3 = $830/年
• 電気代：$1,200/年
• 予備部品・交換パーツ：$300/年
• 運用人員（0.2FTE）：$15,000/年
• セキュリティ・ネットワーク管理：$2,000/年
• 合計：$19,330/年

クラウドAPI（月10万リクエスト想定）の年間内訳：

• API利用料：$0.01/リクエスト × 1,200,000 = $12,000/年
• データ転送費：$2,000/年
• 監視・ログ管理：$1,000/年
• 合計：$15,000/年

この例だと、クラウドの方が$4,300/年安い。ただし利用量が月50万リクエストになると、クラウドは$60,000/年に跳ね上がり、ローカルの圧倒的優位が見える。

まとめ

• ローカル vs クラウドは「利用量」と「運用能力」で決まる。一概には言えない。
• 月間API費用が$5,000未満なら、クラウド一択。$20,000以上ならローカル検討の価値あり。
• 隠れたコスト（人員、セキュリティ、メンテナンス）が無視できない金額。スケール不足で手作業が多い段階ではクラウドが有利。
• チェックリストで5個以上YESなら、ローカル構築への投資判断が正当化される。
• 最適解は「段階的」——最初クラウドで規模を測り、利用量が安定したらローカルへ移行する、が実戦的。