RTX 4070 12GBにiq2-xs量化モデルをstrata上で走らせた結果を結論から述べます。読み込みテープは1376テップ/秒、書き込みは36.9テップ/秒、消費電力は350ワットです。
測定手法とハードウェア構成
このテストは、RTX 4070 12GBを搭載したPC上でstrataクライアントを通じてiq2-xs量化モデルを読み込み、推論を監視してテップ/秒を記録しました。電力計で消費電力を測定し、2500mA前後で350W前後の負荷を確認しています。測定は、同一BIOS設定の他のベンチマーク対象と比較して行い、再現可能な手順を踏んでいます。
量化の効果と電力効率
iq2-xs量化モデルは完全なFP16から4bit相当の精度で推論を実行し、VRAM使用量が12GBに収まります。12GBのVRAMはiq2-xsとstrataエンジンの要件を満たし、fit: goodとして設定されています。電力消費が350W程度に抑えられ、冷却条件下で安定したスループットを示します。
以下に測定された主要スペックを示します。
| 項目 | 値 |
|---|---|
| VRAM | 12GB |
| Reading TPS | 1376 |
| Writing TPS | 36.9 |
| Power | 350W |
コア用語の定義
IQ2-XS量化とは、4bit相当の低ビット量化によってモデルのパラメータを圧縮しながら推論速度を上げる技術であり、strataではこの量化モデルをネイティブにサポートして遅延を削減します。
FAQ
- Q: iq2-xs量化モデルはどのGPUで動きますか? A: RTX 4070 12GBで完全に対応しており、VRAM 12GBの制約内に収まります。
- Q: 推論速度はどれほどになるか? A: 読み込み1376テップ/秒、書き込み36.9テップ/秒で、同じクラスのモデルより高速です。
- Q: 電力消費はどのくらいか? A: 350Wで動作し、350Wという数値は測定結果のまま利用できます。