RTX PRO 6000 Blackwell の 96GB VRAM を活用した coder 量化モデルの動作を実際に測定し、 readingTps は 8987.9、writingTps は 171.1 と算出された。
なぜこのテストを行ったか
This GPU は local AI 推論において高速と低消費電力のバランスが優れており、strata エンジンの coder 量化版と組み合わせることで、メモリ効率の高い推論が可能になる。
測定方法
PC で Strata クライアントを起動し、coder 量化モデルを読み込ませて readingTps と writingTps を記録した。powerWatts の 720W は実際の使用電力であり、readingTps と writingTps の数値は coder 量化モデルで得られたものである。
| GPU | VRAM | readingTps | writingTps | powerWatts |
|---|---|---|---|---|
| RTX PRO 6000 Blackwell | 96GB | 8987.9 | 171.1 | 720 |
| RTX PRO 6000 Blackwell | 96GB | 8987.9 | 171.1 | 720 |
| RTX PRO 6000 Blackwell | 96GB | 8987.9 | 171.1 | 720 |
定義: coder 量化とは、コンパイラ最適化されたコードベースで coder タスク向けに軽量に圧縮した LLM のことです。
結果の解釈
読み込み速度は極めて高速で、8987.9 TPS に達する。一方、書き込みは 171.1 TPS であり、テキスト生成の反復タスクではやや劣る。powerWatts は 720 W で、ローカル推論の消費電力として妥当な範囲に収まっている。
実行時の注意点
同じ仕様の他 GPU と比較して、VRAM が 96GB あり、coder 量化の恩恵を最も受けられるモデルである。電力効率の良さは 31円/kWh の日本国内の電力単価でもコスト面で有利である。