RTX 3090 Tiにおいてiq2-xs量子化モデルをStratエンジンで実行すると、読み込み速度は秒間2255.1トークンに達し、処理能力は極めて高いと言えます。しかし、その裏で600Wもの電力を消費し、書き込み速度は秒間93.1トークンに留まるという、明確な性能の偏りがあることを理解しておく必要があります。この構成はVRAMの余裕(Good)を保ちつつ、最大限の演算速度を求める場合に適しています。
速度と電力の測定方法
Stratクライアント上でモデルを実行し、ベンチマークモードを起動することで、これらの数値を自分の環境で再確認できます。読み込み速度(readingTps)は、モデルがテキストを解析する速度を示し、2255.1という数字は非常に高いスループットを意味します。これは、プロンプトの処理やコンテキストの読み込みにおいて、ユーザーの待ち時間を劇的に短縮します。一方、書き込み速度(writingTps)は93.1と、読み込みに比べれば遅いものの、実用的な対話レベルでは問題ない範囲です。
電力消費(powerWatts)の600Wは、GPUがフルロード時の実測値です。日本の電気代単価31円/kWhを基準に計算すると、1時間稼働させるごとに約18.6円の電気代が発生します。長時間の学習や推論を行う場合、このコストを見積もることが重要です。VRAM使用量は24GBに収まっており、RTX 3090 Tiの限界を効率的に利用していると言えます。
実測値の詳細な分析
以下の表は、Stratエンジンでの実測値を整理したものです。これらの数値は、iq2-xsという特定の量子化手法が、RTX 3090 Tiのアーキテクチャとどのように相互作用しているかを示しています。
| パラメータ | 値 | 意味合い |
|---|---|---|
| 読み込み速度 (tps) | 2255.1 | プロンプト処理が極めて高速 |
| 書き込み速度 (tps) | 93.1 | 生成速度は標準的 |
| 電力消費 (Watts) | 600 | 高負荷時の消費電力 |
| VRAM使用量 (GB) | 24 | 24GBメモリを完全に利用 |
iq2-xs量子化とは、モデルの重みを極めて低いビット数で圧縮し、VRAM使用量を最小限に抑えつつ、精度ある推論を行う技術です。Stratエンジンはこの圧縮されたモデルを効率的にデコードし、GPUの演算能力を最大限に引き出します。この組み合わせにより、24GBというVRAMの制約内で、高い演算速度を実現しています。