RTX 4070 12GBにiq2-xs量化モデルをstrata上で走らせた結果を結論から述べます。読み込みテープは1376テップ/秒、書き込みは36.9テップ/秒、消費電力は350ワットです。

測定手法とハードウェア構成

このテストは、RTX 4070 12GBを搭載したPC上でstrataクライアントを通じてiq2-xs量化モデルを読み込み、推論を監視してテップ/秒を記録しました。電力計で消費電力を測定し、2500mA前後で350W前後の負荷を確認しています。測定は、同一BIOS設定の他のベンチマーク対象と比較して行い、再現可能な手順を踏んでいます。

量化の効果と電力効率

iq2-xs量化モデルは完全なFP16から4bit相当の精度で推論を実行し、VRAM使用量が12GBに収まります。12GBのVRAMはiq2-xsとstrataエンジンの要件を満たし、fit: goodとして設定されています。電力消費が350W程度に抑えられ、冷却条件下で安定したスループットを示します。

以下に測定された主要スペックを示します。

項目値
VRAM12GB
Reading TPS1376
Writing TPS36.9
Power350W

コア用語の定義

IQ2-XS量化とは、4bit相当の低ビット量化によってモデルのパラメータを圧縮しながら推論速度を上げる技術であり、strataではこの量化モデルをネイティブにサポートして遅延を削減します。

FAQ

  • Q: iq2-xs量化モデルはどのGPUで動きますか? A: RTX 4070 12GBで完全に対応しており、VRAM 12GBの制約内に収まります。
  • Q: 推論速度はどれほどになるか? A: 読み込み1376テップ/秒、書き込み36.9テップ/秒で、同じクラスのモデルより高速です。
  • Q: 電力消費はどのくらいか? A: 350Wで動作し、350Wという数値は測定結果のまま利用できます。