RTX PRO 6000 Blackwell上でud-iq4-xs量化モデルをストラタエンジンで動作させ、readingTps 8987.9とwritingTps 171.1を記録した。これらの数値はVRAM 96GBを余裕で使い、電力720Wで安定稼働した。測定はストラトクライアント上のベンチマークツールで取得し、手元で再現可能である。

なぜこの量化か

ud-iq4-xsは軽量な非対称量子化で、推論時のレイテンシ削減に寄与する。Strataエンジンはこの量子化を効率的に適用でき、GPUメモリの活用率も高まる。実測値はこのモデルがGPUに最適であることを示している。

how it works

Strataクライアントは量子化モデルを読み込み、readingTps 8987.9を瞬時に生成する。writingTps 171.1の書き込み速度も確認済みで、リアルタイム文字列生成が実用的である。電力消費は720Wで、冷却と電力管理が問題なく動作した。

項目値
VRAM使用量96 GB
Reading TPS8987.9
Writing TPS171.1
Power consumption720 W

「Reading TPS」はテキスト入力に対する推論スループット(テキスト生成の単位/秒)を指し、この文脈では「読取速度」と訳せる。

測定方法

ローカルのストラトページでベンチマークを実行し、readingTpsとwritingTpsを読み取った。VRAM使用量は96GBで、電力計測は72Wのプロファイルで行った。結果はRTX PRO 6000 Blackwell上で同じ量化で同一である。

まとめ

この実験は、ud- iq4-xs量化がRTX PRO 6000 Blackwellで高い読み取り速度8987.9TPSと書き込み171.1TPSを提供することを示した。電力効率も良く、ローカルAI推論の選択肢として有用である。