RTX 3090 Tiは24GBのVRAMを搭載しており、iq3-xxsという非常に軽量な量子化モデルを実行する際に「Good」と評価される最適な組み合わせです。この設定は、強力な電力消費(600W)を伴いますが、2255.1 token/sという極めて高速な読み込み速度と、実用的な93.1 token/sの生成速度を実現します。

電力消費と実行環境の現実

RTX 3090 Tiは高性能なGPUですが、その代償として600Wという大きな電力を消費します。日本の電気料金が31円/kWhであることを考慮すると、長時間の使用はコストに影響します。しかし、iq3-xxsのような極端に量子化されたモデルであれば、24GBというVRAMの容量内で収まりやすく、メモリ不足によるエラーを回避しながら動作させることができます。

速度の解釈と実用性

測定された読み込み速度は2255.1 token/s、生成速度は93.1 token/sです。読み込みが非常に速いため、プロンプトの処理やコンテキストの読み込みは瞬時に完了します。生成速度は93.1 token/sであり、これは人間が読むには少し速すぎるほどの速度ですが、ドラフト作成やコード生成、アイデア出しなどの作業では十分な生産性を提供します。この速度は、モデルが限られたリソースの中でいかに効率よく動作するかを示しています。

検証方法と結論

自分のマシンでこの設定がどう動くかを確認するには、StrataエンジンとStrataクライアントを使用して、RTX 3090 Ti上でiq3-xxsモデルをロードし、生成速度を測定する必要があります。この組み合わせは、VRAMの制約内で最大の性能を引き出すための一つの答えです。

指標値備考
VRAM容量24GBモデルの収容能力
読み込み速度2255.1 token/sコンテキスト処理速度
生成速度93.1 token/s出力速度
電力消費600W最大消費電力
適合性Good総合評価

iq3-xxs量子化は、モデルの重みを極めて細かく圧縮することで、少ないメモリで高精度な推論を可能にする技術です。