RTX PRO 6000 Blackwell上でud-iq4-xs量化モデルをストラタエンジンで動作させ、readingTps 8987.9とwritingTps 171.1を記録した。これらの数値はVRAM 96GBを余裕で使い、電力720Wで安定稼働した。測定はストラトクライアント上のベンチマークツールで取得し、手元で再現可能である。
なぜこの量化か
ud-iq4-xsは軽量な非対称量子化で、推論時のレイテンシ削減に寄与する。Strataエンジンはこの量子化を効率的に適用でき、GPUメモリの活用率も高まる。実測値はこのモデルがGPUに最適であることを示している。
how it works
Strataクライアントは量子化モデルを読み込み、readingTps 8987.9を瞬時に生成する。writingTps 171.1の書き込み速度も確認済みで、リアルタイム文字列生成が実用的である。電力消費は720Wで、冷却と電力管理が問題なく動作した。
| 項目 | 値 |
|---|---|
| VRAM使用量 | 96 GB |
| Reading TPS | 8987.9 |
| Writing TPS | 171.1 |
| Power consumption | 720 W |
「Reading TPS」はテキスト入力に対する推論スループット(テキスト生成の単位/秒)を指し、この文脈では「読取速度」と訳せる。
測定方法
ローカルのストラトページでベンチマークを実行し、readingTpsとwritingTpsを読み取った。VRAM使用量は96GBで、電力計測は72Wのプロファイルで行った。結果はRTX PRO 6000 Blackwell上で同じ量化で同一である。
まとめ
この実験は、ud- iq4-xs量化がRTX PRO 6000 Blackwellで高い読み取り速度8987.9TPSと書き込み171.1TPSを提供することを示した。電力効率も良く、ローカルAI推論の選択肢として有用である。