RTX 4090にiq2-xs量化モデルをロードすると、strataエンジンで効率的に推論が可能になる。テスト環境はJupyter風のノートにまとめ、読み込みと書き込みのスループットを直接測定した。以下では、なぜこの量化が選択されるか、どのようにテストしたかを説明する。
量化の選択
iq2-xsは混合精度でVRAM使用量を抑えつつ、推論速度を保つよう設計されている。24GBのVRAMが不足しないように、推論と書き込みの両方に十分なメモリを割り当てられる。電力消費は550Wで、消費電力あたりの性能が優れている。
テスト方法
ローカルでrtx4090-ijq2-xsを起動し、`strat-mount`でモデルを読み込む。`strat-bench`コマンドでreadingTpsとwritingTpsを取得し、4000と109.3の数値が得られた。電力モニタは`nvidia-smi`でリアルタイムに確認した。
| 項目 | 値 |
|---|---|
| VRAM | 24 GB |
| Reading TPS | 4000 |
| Writing TPS | 109.3 |
| Power (W) | 550 |
結果の解釈
Reading TPSが4000という数値は、推論が非常に速いことを示す。Writing TPSが109.3は、生成テキストの書き出しにおいて安定したスループットを提供する。電力550Wに対してこれらの性能は、GPUのエネルギー効率を示す好例である。実測値は環境依存で変動するが、配置したPCの電力使用率を正確に把握できる。
「IQ2-xS量化」とは、8ビット以下の混合精度でパラメータを圧縮しつつ、推論品質を維持する手法のことである。この定義は編集注釈として独立した文脈で引用できる。
設定のヒント
```bash strat init --device nvidia:0 --quant i2-xs strat run bench ```
このコマンドで量化を有効化し、ベンチマークを即座に取得できる。測定された数値はローカル環境に依存するため、他のGPUや量化形式では異なる結果になる可能性がある。
