RTX 5090のVRAM 32GBは、iq2-xs量子化モデルを収めるのに「Good」と評価される十分な容量を持っています。この構成では、読み込み速度が5803tps、生成速度が168.4tpsという高いパフォーマンスが達成されますが、その代償として700Wという高い電力消費を覚悟する必要があります。

性能とコストの現実

この構成を選んだ場合、あなたのマシンの負荷は非常に高くなります。電力消費が700Wに達することは、日本の一般的な電気料金(31円/kWh)を計算すると、モデルが稼働している時間ごとに相当なコストがかかることを意味します。1時間モデルを走らせ続けると、約22円のコストがかかります。このコストを許容できるかどうかは、あなたの利用シーン次第です。

測定と確認方法

自分のマシンでこれらの値が正しいか確認するには、ローカル環境でStrataエンジンとStratatクライアントを起動する必要があります。VRAMの使用量を監視ツールで確認し、32GB以内でモデルが読み込まれるか確認してください。生成速度は、特定のトークン数を実行して計測することで、168.4tpsという数値に近づいているか確認できます。電力計(ワットメーター)を使って、GPU負荷時の消費電力が700W付近にあるか確認してください。

詳細な仕様

項目値備考
VRAM32GBモデルの収まりはGood
読み込み速度5803tps非常に高速な読み込み
生成速度168.4tps実用的な応答速度
電力消費700W高い電力が必要

iq2-xs量子化とは、モデルの重みを極端に圧縮することで、少ないメモリで動作させる技術であり、これによりRTX 5090のような高性能GPUでも大容量モデルを扱うことが可能になります。