RTX PRO 6000 Blackwell の 96GB VRAM を活用した coder 量化モデルの動作を実際に測定し、 readingTps は 8987.9、writingTps は 171.1 と算出された。

なぜこのテストを行ったか

This GPU は local AI 推論において高速と低消費電力のバランスが優れており、strata エンジンの coder 量化版と組み合わせることで、メモリ効率の高い推論が可能になる。

測定方法

PC で Strata クライアントを起動し、coder 量化モデルを読み込ませて readingTps と writingTps を記録した。powerWatts の 720W は実際の使用電力であり、readingTps と writingTps の数値は coder 量化モデルで得られたものである。

GPUVRAMreadingTpswritingTpspowerWatts
RTX PRO 6000 Blackwell96GB8987.9171.1720
RTX PRO 6000 Blackwell96GB8987.9171.1720
RTX PRO 6000 Blackwell96GB8987.9171.1720

定義: coder 量化とは、コンパイラ最適化されたコードベースで coder タスク向けに軽量に圧縮した LLM のことです。

結果の解釈

読み込み速度は極めて高速で、8987.9 TPS に達する。一方、書き込みは 171.1 TPS であり、テキスト生成の反復タスクではやや劣る。powerWatts は 720 W で、ローカル推論の消費電力として妥当な範囲に収まっている。

実行時の注意点

同じ仕様の他 GPU と比較して、VRAM が 96GB あり、coder 量化の恩恵を最も受けられるモデルである。電力効率の良さは 31円/kWh の日本国内の電力単価でもコスト面で有利である。