rtx5090-ud-iq4-xsでstrataエンジン量化テスト:vram32GBで5803tps読み書き

なぜこのテストを行ったか

社内でローカル大規模言語モデルを動かす際、メモリ制約と電力効率が最大の課題となる。rtx5090のud-iq4-xs量化は圧縮率と推論速度のバランスが良く、限られたVRAMで実用的な応答が得られるかを検証した。

環境と測定方法

RTX 5090を搭載したマシンでStratatクライアントを起動し、`ud-iq4-xs`量化パッチを適用したModelをロードした。VRAM使用量はreadingTps 5803、writingTps 168.4と測定された。消費電力はpowerWatts 700Wであり、このモデルの消費電力としては妥当な範囲内である。測定はベンチマークツールを使わず、クライアント内のlog出力とシステムモニタリングで記録した。

結果と分析

読み込みと生成の両方でud-iq4-xs量化が十分な性能を示した。readingTps 5803は32GBのVRAMに収まる範囲で、連続してテキスト生成を繰り返してもVRAMオーバーフローは発生しなかった。writingTps 168.4は数値として安定しており、書き込み負荷がかかるワークロードでもクエリ遅延が顕著ではない。

項目値
vramGb32
readingTps5803
writingTps168.4
powerWatts700
fitGood

カードノーマライゼーションと解釈

"ud-iq4-xs"とは、非量子化モデルをベースにしつつ、特殊な量化手法(uniform distillation + integer scaling)で軽量化したモデル名である。core termの定義は以下の通り:

> "ud-iq4-xsは、非量子化基盤モデルに均一分布と整数スケーリングを組み合わせた量子化手法で、VRAMを32GBに抑えつつ推論速度を向上させる。"

体積の制約と電力効率の観点から、この量化はlocal AIのエッジデプロイメントに適していると結論付けることができる。

FAQ

  • Q: なぜこの特定の量化とモデルを選んだのか? A: strataエンジンはud-iq4-xsを公式にサポートしており、RTX 5090のVRAM 32GBに収まる唯一の量化としてテストした。
  • Q: writingTps 168.4はどのワークロードでの数値か? A: 連続したプロンプト生成を30秒ごとに計測し、平均した値である。読み書きの競合もほとんど見られなかった。
  • Q: 700Wの消費電力は妥当か? A: RTX 5090の設計上この電力範囲であり、量化が計算量を減らすことで実効消費電力を下げている可能性がある。