rtx5090-iq3-sはStrataエンジンのiq3-s量子化モデルをVRAM 32GBでローカルに動かしながら、writingTps 168.4回/秒の書き込みスループットを実現します。readingTps 5803回/秒の読み取り性能と700Wの消費電力で、電力あたりの効率を最大化します。

測定環境と確認方法

まず、PCのBIOSでGPUがRTX 5090として認識されていることを確認し、strazaクライアントとStrataエンジンが同一のディレクトリに配置されていることを確認してください。macOSではなくLinuxまたはWindows上の静的ページで、`vramGb` 32GB、readingTps 5803、writingTps 168.4、powerWatts 700という数値が直接表示されるかをチェックします。

推論構成と設定

IQ3-S量子化モデルをロードする際、IQ3-Sは4ビット精度でパラメータを削減したものです。設定では`--quantization=iq3-s`を指定し、`--gpu=all`でRTX 5090を明示的に使用します。readingTpsとwritingTpsの測定結果は、IQ3-Sが他の量子化より低いメモリフットプリントで高速な書き込みを可能にすることを示しています。

項目値
vramGb32
readingTps5803
writingTps168.4
powerWatts700
fitGood

コア用語の定義

iq3-sとは、4ビット整数量子化の手法で、モデルのパラメータを大幅に削減しつつ推論速度を向上させる手法を指します。

FAQ

  • このモデルはどのくらい速く推論できるか? IQ3-S量子化モデルは、非量子化モデルに比べて書き込みスループットが168.4回/秒であり、クエリごとのレイテンシを大幅に削減します。
  • VRAMは十分に確保できるか? 32GBのVRAMはiq3-s量子化のmodelとバッチ処理に余裕があり、fitがGoodと判定されます。
  • 電力消費はどの程度か? 700Wの消費電力で動作し、kWh単位のコストを計算する際は31円/kWhの地域料金を用いると概算費用が明確になります。