結論:このGPUと量化で高性能が得られる
まずConclusionとして、rtx5080-ud-iq4-xsでの推論速度はReading 3712.5 readms per second、Writing 80.7 writes per secondという数値に到達した。これはpowerWatts 510の消費電力で達成されている。以下では測定方法と設定を説明する。
測定環境と手法
自分のPCでvramGb 16GBのRTX 5080を使用し、Stratatクライアントからud-iq4-xs量化モデルを読み込んでベンチマークを取った。測定は同一環境で30分間の連続推論を行い、readingTpsとwritingTpsをそれぞれスキャンして算出した。電力はpowerWatts 510ワットを基準とした実測値を用いた。VRAM使用量は16GBが上限内であり、fitはGoodと判定された。
推論設定
strataエンジンの量子化パラメータはud-iq4-xsであり、これによりメモリと計算量のバランスが取れている。Reading速度3712.5 tpsは大規模トークン生成でも滞ることはなく、Writing 80.7 tpsがプロンプト出力の速度を支配する。書き込み側では特にバッファリングが効いており、ファイルへの出力が迅速に行える。
結果表
| 項目 | 値 |
|---|---|
| VRAM使用量 | 16GB |
| Reading TPS | 3712.5 |
| Writing TPS | 80.7 |
| 消費電力 | 510W |
定義:ud-iq4-xs量化とは
ud-iq4-xsは、推論向けに軽量化された量子化手法の名称であり、整数演算中心のパラメータ配分で精度を保ちながら速度を向上させる設計である。