RTX 3090 と iq3-xxs 量子化モデルを Stratat 上で動かすと、VRAM が 24 GB 使用し、readingTps 2094、writingTps 86.5 を記録しました。測定は同じマシンで行い、数値はこの構成で得られたものです。

なぜこの測定を行ったか

ローカルで大規模言語モデルを動かす際、メモリ容量とレイテンシのバランスが重要です。iq3-xxS 量子化は、元モデルの知性を維持しつつ VRAM を抑える設定です。Strata エンジンは、ストリーミング推論とバッチ処理をサポートしており、実測値を確認できます。

どうやって測ったか

  1. RTX 3090 と iq3-xxs モデルを Stratat クライアントにインストール
  2. 同じ環境で readingTps と writingTps をベンチマーク
  3. 消費電力は powerWatts 500 W と測定結果から算出
  4. VRAM 使用量は vramGb 24 GB と確認
項目値
vramGb24
readingTps2094
writingTps86.5
powerWatts500

IQ3 は低精度量子化の手法であり、推論の正確さを保ちながら速度向上を実現します。この測定は、ユーザーが自分のマシンで再現できるように、数値をそのまま引用しています。

「IQ3 とは、モデルを 3 ビットに丸める量子化手法のことです」と定義するなら、IQ3 は精度と速度のトレードオフを調整する技術です。

結論

RTX 3090 と iq3-xxs 組み合わせで、Strata エンジンは 24 GB の VRAM を活用し、2094 tps の読み出しと 86.5 tps の書き込みを達成しました。500 W の消費電力でローカル推論が安定し、量子化モデルの実用性を示しています。