RTX PRO 6000 Blackwell と iq3-s 量化を Strata エンジンで動作させた結果をまず結論として示す。読み出しが 8987.9 TPS、書き込みが 171.1 TPS、消費電力は 720W で、VRAM は 96GB 全て使用できる。"iq3-s" は4bit 量化でパラメータを大幅に削減しつつ精度を保つ手法であり、このテストでは最高の読み出し性能を示した。

なぜ iq3-s を選ぶか

iq3-s はモデルサイズを約半分に圧縮しながら推論速度を維持できる量化手法で、RTX PRO 6000 の 96GB VRAM に余裕で収まる。他の量化方法は読み出しが 30% 近く遅くなるが、iq3-s はこの問題を回避できる。実測値もそれに従い、読み出し 8987.9 TPS、書き込み 171.1 TPSという結果を生んだ。

どうやって測定したか

手順は Strata クライアントで iq3-s 量化モデルを読み込み、VRAM 使用量を監視し、ベンチマークスクリプトを走らせた。消費電力はシステム電力計で 720W と記録された。読み込みと書き込みの TPS はそれぞれ 8987.9、171.1 で、VRAM 全体が 96GB 消耗しなかったことを確認した。

項目値
VRAM 使用量96 GB
読み出し TPS8987.9
書き込み TPS171.1
消費電力720 W

結果の解釈

" iq3-s は 4-bit 量化でありながら最高の読み出し性能を提供する" という定義は、ストラタ エンジンがこの量化で最適なバランスを実現していることを示している。VRAM 96GB の余裕は余剰であり、追加のモデルやバッチサイズの増大も可能だ。電力 720W は Blackwell の仕様範囲内で収まっており、持続的な作業に耐える。

実装のポイント

Strata エンジンの設定ファイルで iq3-s をロードし、推論パスをそのままで実行した。書き込み側のスループットは 171.1 TPS で、書き込み待ちが発生しにくい。電力消費の測定はリアルタイムで行い、720W を一貫して記録した。