6GB＋12GBの混成GPUは“合計18GB”ではなく、役割分担で考える。
容量の違うGPU 2枚をどう活かすか：Ollama運用の役割分担メモ
結論
GTX1660Ti 6GBとRTX3060 12GBの混成GPU環境で、どの処理をどちらに任せるべきか、運用上の注意点を整理します。
GPUを2枚挿すと、単純にVRAMが足し算されるように感じます。しかしローカルLLMでは、6GB＋12GB＝18GBを自由に使えるとは考えないほうが安全です。実際にはモデルの層配置、KVキャッシュ、同時ロード数によって詰まり方が変わります。
混成GPUで作る、役割分担型AIワークフロー
理屈を読む前に、まず「この構成で何ができるようになるか」をイメージするための図です。
結論：容量差のある2枚構成は、巨大モデル用ではなく「軽い処理」と「重い処理」を分ける運用に向いています。
混成GPUの考え方
| 構成 | 向いている使い方 | 注意点 |
|---|---|---|
| 6GB + 12GB | 12GB側をLLM主担当、6GB側を軽量モデルや表示補助へ回す | 大きな1モデルを安定して分散できるとは限らない |
| 12GB + 12GB | 同型GPUで挙動を揃えやすい | 24GB単体とは違い、分割の制約が残る |
| 24GB単体 | 大きめモデルをシンプルに載せやすい | 発熱、消費電力、価格が重い |
運用で見るべきポイント
- 同時ロード数：複数モデルを開いたままにすると、VRAMが細かく埋まります。
- num_ctx：長文脈は便利ですが、KVキャッシュでVRAMを消費します。
- GPU指定：検証時はどのGPUに載ったかをログで確認します。