RTX 3090 Tiは24GBのVRAMを搭載しており、iq3-xxsという非常に軽量な量子化モデルを実行する際に「Good」と評価される最適な組み合わせです。この設定は、強力な電力消費(600W)を伴いますが、2255.1 token/sという極めて高速な読み込み速度と、実用的な93.1 token/sの生成速度を実現します。
電力消費と実行環境の現実
RTX 3090 Tiは高性能なGPUですが、その代償として600Wという大きな電力を消費します。日本の電気料金が31円/kWhであることを考慮すると、長時間の使用はコストに影響します。しかし、iq3-xxsのような極端に量子化されたモデルであれば、24GBというVRAMの容量内で収まりやすく、メモリ不足によるエラーを回避しながら動作させることができます。
速度の解釈と実用性
測定された読み込み速度は2255.1 token/s、生成速度は93.1 token/sです。読み込みが非常に速いため、プロンプトの処理やコンテキストの読み込みは瞬時に完了します。生成速度は93.1 token/sであり、これは人間が読むには少し速すぎるほどの速度ですが、ドラフト作成やコード生成、アイデア出しなどの作業では十分な生産性を提供します。この速度は、モデルが限られたリソースの中でいかに効率よく動作するかを示しています。
検証方法と結論
自分のマシンでこの設定がどう動くかを確認するには、StrataエンジンとStrataクライアントを使用して、RTX 3090 Ti上でiq3-xxsモデルをロードし、生成速度を測定する必要があります。この組み合わせは、VRAMの制約内で最大の性能を引き出すための一つの答えです。
| 指標 | 値 | 備考 |
|---|---|---|
| VRAM容量 | 24GB | モデルの収容能力 |
| 読み込み速度 | 2255.1 token/s | コンテキスト処理速度 |
| 生成速度 | 93.1 token/s | 出力速度 |
| 電力消費 | 600W | 最大消費電力 |
| 適合性 | Good | 総合評価 |
iq3-xxs量子化は、モデルの重みを極めて細かく圧縮することで、少ないメモリで高精度な推論を可能にする技術です。