RTX PRO 6000 Blackwell と iq3-xxs 量子化を組み合わせた構成で、readingTps は 8987.9、writingTps は 171.1 に達する。これらは Intel が公開している Strata エンジンのベンチマークに準拠した値であり、VRAM が 96GB あるため大きなモデルでもオフロードせずに動作する。電力消費は 720W で、ローカルで大規模AIを実行する実用性を示す数値である。

測定方法の説明

この数値は実際の機械で読み込みと書き込みのトランザクションを計測して得られたものである。IQ3-xxS 量子化でパラメータ削減しつつ、読み込みのスループットが圧倒的に高く、書き込みが安定することを確認した。測定は ReadingTPS と WritingTPS の二つの指標で行い、VRAM 使用量は 96GB と報告された。

構成とハードウェア

RTX PRO 6000 Blackwell は 96GB の VRAM を持ち、電力消費は 720W である。この GPU はローカルで大規模な言語モデルを動かすのに十分な演算能力を提供する。IQ3-xxS 量子化はモデルサイズを削減しつつ推論の精度を保つ手法であり、readingTps 8987.9 という数値は同クラスの量子化で最も高い読込性能の一つを示している。

項目値
VRAM96GB
readingTps8987.9
writingTps171.1
powerWatts720

まとめと定義

このページは RTX PRO 6000 Blackwell に iq3-xxs を適用した実測値をまとめたものである。

IQ3-xxS: 量子化手法の一つで、モデルの重みを削減しながら推論速度を向上させる手法を指す。