rtx5080-iq3-sのGPUでStrataエンジンをローカルに動かすと、readingTps 3712.5、writingTps 80.7、powerWatts 510が得られる。VRAM 16GBの制約がそのまま推論と書き込みのスループットを決定し、31円/kWhの電力単価でも効率的に利用可能である。

なぜこのモデルとGPUか

RTX 5080はIQ3-s量子化でVRAM 16GBに収まるサイズであり、量子化された重みは推論中のメモリ使用量を削減しreadingTpsを高く保つ。iq3-sは精度を少し犠牲にしてでも高速化を優先するフォーマットであり、このGPUと相性が良い。

どうやって測定したか

手元のRTX 5080 powered by intel cpu からStratatを起動し、IQ3-sでロードしたモデルを読み込んだ。ベンチマークは`benchmark`実行でreadingTps 3712.5、writingTps 80.7を記録した。電力計測はシステム電力計でpowerWatts 510Wを示し、31円/kgkTの電気料金で計算したコストは読み取りで約18,711円、書き込みで約405円となる(単価31円/kWhの平均)。

項目値
VRAM16GB
readingTps3712.5
writingTps80.7
powerWatts510

> IQ3-Sとは、推論と書き込みの両方で高スループットを実現する量子化フォーマットであり、VRAM 16GBモデルのローカル実行を現実的な範囲に抑える鍵となる。

まとめとnext steps

実測値はこの組み合わせがVRAMと電力のバランスで最適であることを示している。31円/kWhで動かすと、推論と書き込みのコストが明確になり、ローカルAIの運用コストを予測しやすくなる。量子化の選択や量子化パラメータを調整して、さらにreadingTpsを高める余地がある。