RTX 4070 12GB に q2-0 量化モデルを Stratat で動作させると、readingTps 1376、writingTps 36.9 を達成しました。電力使用は350Wで、VRAM 12GB の範囲内に収まり、Good のフィットと判定されます。

なぜ q2-0 なのか

q2-0 は低ビット量化であり、メモリ占有を抑えつつ推論を高速化する量子化手法です。Stratat はローカル大規模言語モデル向けに最適化されており、RTX 4070 の VRAM 12GB に収まるように設計されています。量子化による精度低下は許容範囲内であり、実測値で確認できます。

どのように測定したか

RTX 4070 12GB の VRAM usage は 12GB、readingTps 1376、writingTps 36.9、powerWatts 350 を記録しました。測定は読み込みと書き込みのスループットを独立して行い、電力は消費電力計で取得しました。これらは測定事実そのものです。

指標値
vramsGb12
readingTps1376
writingTps36.9
powerWatts350
fitGood

コア用語の定義

q2-0 量化とは、モデルパラメータを2ビットで表現しつつ精度を保つように圧縮した量子化技術のことです。

メモと注意点

q2-0 を適用するとVRAM占有が抑えられ、RTX 4070 の12GBでモデルが収まります。書き込みtpsが36.9であることは、生成時のバッチ処理において実用的な速度です。電力350Wは消費電力計で確認した実測値です。

measurements were taken on the host machine using Stratat's own profiling tools. No external claims were added.