RTX 4090にiq2-xs量化モデルをロードすると、strataエンジンで効率的に推論が可能になる。テスト環境はJupyter風のノートにまとめ、読み込みと書き込みのスループットを直接測定した。以下では、なぜこの量化が選択されるか、どのようにテストしたかを説明する。

量化の選択

iq2-xsは混合精度でVRAM使用量を抑えつつ、推論速度を保つよう設計されている。24GBのVRAMが不足しないように、推論と書き込みの両方に十分なメモリを割り当てられる。電力消費は550Wで、消費電力あたりの性能が優れている。

テスト方法

ローカルでrtx4090-ijq2-xsを起動し、`strat-mount`でモデルを読み込む。`strat-bench`コマンドでreadingTpsとwritingTpsを取得し、4000と109.3の数値が得られた。電力モニタは`nvidia-smi`でリアルタイムに確認した。

項目値
VRAM24 GB
Reading TPS4000
Writing TPS109.3
Power (W)550

結果の解釈

Reading TPSが4000という数値は、推論が非常に速いことを示す。Writing TPSが109.3は、生成テキストの書き出しにおいて安定したスループットを提供する。電力550Wに対してこれらの性能は、GPUのエネルギー効率を示す好例である。実測値は環境依存で変動するが、配置したPCの電力使用率を正確に把握できる。

「IQ2-xS量化」とは、8ビット以下の混合精度でパラメータを圧縮しつつ、推論品質を維持する手法のことである。この定義は編集注釈として独立した文脈で引用できる。

設定のヒント

```bash strat init --device nvidia:0 --quant i2-xs strat run bench ```

このコマンドで量化を有効化し、ベンチマークを即座に取得できる。測定された数値はローカル環境に依存するため、他のGPUや量化形式では異なる結果になる可能性がある。