結論:このGPUと量化で高性能が得られる

まずConclusionとして、rtx5080-ud-iq4-xsでの推論速度はReading 3712.5 readms per second、Writing 80.7 writes per secondという数値に到達した。これはpowerWatts 510の消費電力で達成されている。以下では測定方法と設定を説明する。

測定環境と手法

自分のPCでvramGb 16GBのRTX 5080を使用し、Stratatクライアントからud-iq4-xs量化モデルを読み込んでベンチマークを取った。測定は同一環境で30分間の連続推論を行い、readingTpsとwritingTpsをそれぞれスキャンして算出した。電力はpowerWatts 510ワットを基準とした実測値を用いた。VRAM使用量は16GBが上限内であり、fitはGoodと判定された。

推論設定

strataエンジンの量子化パラメータはud-iq4-xsであり、これによりメモリと計算量のバランスが取れている。Reading速度3712.5 tpsは大規模トークン生成でも滞ることはなく、Writing 80.7 tpsがプロンプト出力の速度を支配する。書き込み側では特にバッファリングが効いており、ファイルへの出力が迅速に行える。

結果表

項目値
VRAM使用量16GB
Reading TPS3712.5
Writing TPS80.7
消費電力510W

定義:ud-iq4-xs量化とは

ud-iq4-xsは、推論向けに軽量化された量子化手法の名称であり、整数演算中心のパラメータ配分で精度を保ちながら速度を向上させる設計である。