RTX 3090を1枚で使うか2枚で使うかの判断は、使用するモデルのサイズと、あなたの電気代許容範囲によって決まります。1枚では70Bモデルはメモリ不足で動作しませんが、2枚に増やすとVRAMが48GBに増え、大規模モデルのローカル実行が可能になります。ただし、2枚構成は電力消費が倍増し、運用コストが大幅に上昇するため、電気料金とモデルサイズのバランスを慎重に評価する必要があります。
VRAMとモデルサイズの関係性
Stratatエンジンで大規模言語モデルをローカルで実行する場合、VRAM(ビデオメモリ)の容量が最も重要な制約条件となります。RTX 3090は24GBのVRAMを搭載しており、これは8B~13Bパラメータ程度のモデルを高速に推論するには十分です。しかし、70Bパラメータのような大規模モデルを量子化(Quantization)して実行する場合、1枚のGPUではメモリが不足し、エラーが発生するか、極端に低速なCPUメモリへのフォールバックが発生します。2枚のRTX 3090を使用することで、合計48GBのVRAMが利用可能になり、より大きなモデルをGPU内で完結させて推論できるようになります。これにより、メモリ帯域幅の制約を軽減し、推論速度を維持しつつ、より知的な応答を得ることが可能になります。
電力コストと運用効率の計算
ローカル推論の隠れたコストは電気代です。日本の一般的な電気料金を1kWhあたり31円として計算すると、RTX 3090単体と2枚構成のコスト差は明確になります。RTX 3090のTDP(熱設計電力)は約350Wですが、実際の高負荷時の消費電力は300W〜400W程度変動します。2枚構成では、消費電力は単純に2倍になるわけではなく、PCIeスロットの供給電力やマザーボードの過負荷保護などにより、システム全体の消費電力が増加します。1時間あたりのコストを比較すると、2枚構成は1枚構成よりも約30〜50円多くかかります。1日8時間使用する場合、月間で約7,000円〜12,000円の追加コストが発生します。このコストに見合うだけの性能向上があるかどうかを判断する必要があります。
測定基準と評価
Stratatエンジンでの評価では、単にトークン生成速度(tok/s)だけでなく、メモリ使用量と安定性も重視します。1枚構成では、メモリが溢れた場合にシステムがフリーズするリスクがありますが、2枚構成ではメモリ分散のオーバーヘッドが生じるため、単純な2倍の速度にはなりません。また、2枚のGPU間の通信(NVLinkの有無)がパフォーマンスに与える影響も考慮する必要があります。NVLinkがない場合、PCIeバスを介したデータ転送がボトルネックになる可能性があります。したがって、自身のハードウェア構成に基づいて、実際のベンチマークを取得することが不可欠です。
| 構成 | VRAM合計 | 推論可能な最大モデル(例) | 1時間あたりの推定電気代(1kWh 31円基準) | 主な用途 |
|---|---|---|---|---|
| RTX 3090 1枚 | 24GB | 13B〜30B(量子化) | 約10〜12円 | 高速な小〜中規模モデル |
| RTX 3090 2枚 | 48GB | 70B(量子化) | 約20〜25円 | 大規模モデルの高精度推論 |
VRAMは、ローカルAI推論においてモデルの重みを保持するためのメモリ容量であり、これを超えるモデルは実行できません。