RTX 5070 Ti上でiq3-xxs量子化モデルを実行すると、VRAMの制約内で良好な収束を示し、読み込みは秒間約2,500トークン、書き出しは秒間71トークンという安定した処理速度が確認できます。この構成は、最大450Wの電力を消費するものの、16GBのVRAMを効率的に活用できるため、ローカル推論における現実的なバランスを提供します。
読み込みと書き出しの速度特性
この構成における読み込み速度は2,498.5 Tpsという数値を示しており、これはモデルの重みをGPUメモリにロードする際の帯域幅を効果的に利用していることを意味します。対照的に、生成速度である書き出し速度は71.1 Tpsに留まります。これは、量子化の精度(iq3-xxs)が計算負荷を軽減しつつも、複雑な推論における逐次的な処理速度には限界があることを示唆しています。ユーザーは、高速なプロンプト処理と、それなりに速い生成のバランスを期待する際に、この数値を基準とすべきです。
電力消費とランニングコスト
測定された消費電力は450Wです。日本の一般的な電気料金単価である31円/kWhを基準に計算すると、1時間あたりの電気代は約13.95円となります。これは決して安価ではないですが、高性能なローカル推論ノードとしては許容範囲内です。長時間の推論を行う場合は、この消費電力を考慮してスケジュールを立てる必要があります。
VRAM使用率と収束
16GBのVRAMを搭載したRTX 5070 Tiでは、iq3-xxs量子化モデルは「Good」と評価される収束を示します。これは、モデルのサイズとGPUのメモリ容量が適切にマッチしており、オーバーフローやパフォーマンスの著しい低下を引き起こさずに動作することを意味します。
測定方法と確認手順
これらの数値を自分自身のマシンで確認するには、Stratエンジンを実行し、リアルタイムのメトリクスモニタリングツールを使用します。読み込み速度はモデルロード時のピーク値、書き出し速度はトークン生成中の平均値として記録されます。電力消費はGPUの負荷状態に応じて変動するため、アイドル時と最大負荷時の差を測定することで、推論時の純粋な消費電力を算出できます。
| 指標 | 数値 | 備考 |
|---|---|---|
| VRAM容量 | 16 GB | モデル収束の基準 |
| 読み込み速度 | 2498.5 Tps | 重みロードのピーク速度 |
| 書き出し速度 | 71.1 Tps | トークン生成の平均速度 |
| 消費電力 | 450 W | 最大負荷時の測定値 |
iq3-xxs量子化とは、モデルの重みを極めて高い圧縮率で圧縮し、推論時のメモリアクセスを最小限に抑えることで、リソースが限られた環境でも実用的な速度を維持するための技術です。