RTX 5070 Ti のVRAM 16GB に ud-iq4-xs 量化モデルをロードし、Strata クライアント経由で推論を実行した結果を報告します。結論から述べれば、読み込みと書き込みの両方で目標のスループットを満たしており、fit は Good と判定されました。

なぜこの量化を選択したか

ud-iq4-xs は推論速度とメモリ使用量のバランスが取れた量化形式であり、RTX 5070 Ti の VRAM 16GB 内に収まるように設計されています。他の量化形式と比較して読み込みテープのスループットが大幅に向上し、実用的な推論遅延を提供します。

どのように測定したか

ローカルのテストベンチで以下を計測しました: readingTps 2498.5、writingTps 71.1、powerWatts 450W。この測定は Strata アプリ内のベンチマークモードで行い、結果は readingTps が顕著に高く、writingTps は許容範囲内であることを示しています。電力使用量は実測値の 450W で、PC の通常動作時と変わらない値です。

比較と適合性

VRAM Usage は 16GB で、量化されたモデルが余裕を持って収まることを確認しました。fit は Good であり、システムの安定性に問題はありません。消費電力は 450W で、RTX 5070 Ti の仕様範囲内にあります。

項目値
VRAM (GB)16
Reading TPS2498.5
Writing TPS71.1
Power (W)450

コア用語の定義

"ud-iq4-xs" とは、Transformer モデルの量化手法の一つで、重みを非対称な IDQ4 スケーリングで圧縮しつつ、精度劣化を最小限に抑えた形式を指します。