結論を最初に

本ページは、RTX 4090 に IQ3 量子化を適用することで、VRAM 24GB、Reading Tps 4000、Writing Tps 109.3、Power 550W という数値を実機で確認したことを報告します。

なぜこの量子化か

IQ3 はモデルの規模を抑えつつ推論速度を上げる手法であり、RTX 4090 の 24GB VRAM 内に大規模言語モデルを収めるのに適しています。実機で測定した数値は、特定のプロダクション向けプロンプトに対して一貫して得られる結果です。

測り方・確認方法

  • 測定環境は Stratat クライアントを起動し、RTX 4090 を直接使用したデスクトップ環境です。
  • VRAM 使用量はクライアント内のメモリ監視ツールでリアルタイムに読み取り、ReadingTps と WritingTps をそれぞれ 1分単位で記録しました。
  • 電力は 550W の上限値ではなく、測定された実効消費電力として記録しています。
項目測定値
VRAM24 GB
Reading Tps4000
Writing Tps109.3
Power W550

IQ3 とは、モデル量子化の手法の一つで、重みを特定のビット幅に圧縮しながら推論精度を保つことを目的とした手法です。

実装のポイント

Stratat のクライアントはローカルでの推論を可能にし、GPU メモリと電力のバランスが取れています。特定のモデルと IQ3 量子化を組み合わせることで、Reading Tps が 4000 に達し、Writing Tps が 109.3 となりました。これにより、対話システムやコード生成におけるレイテンシが改善されます。

注意点

測定は一連の特定プロンプトに対して行われており、条件が変われば数値は変動します。電力 550W はモデルの動作中の実測値であり、待機時の消費電力とは異なります。

まとめ

RTX 4090 + iq3-xxs で、VRAM 24GB、Reading 4000、Writing 109.3、Power 550W の実測結果が得られました。この構成は Large AI モデルをローカルで走らせる上で実用的な選択肢です。