RTX 5070 Ti のVRAM 16GB に ud-iq4-xs 量化モデルをロードし、Strata クライアント経由で推論を実行した結果を報告します。結論から述べれば、読み込みと書き込みの両方で目標のスループットを満たしており、fit は Good と判定されました。
なぜこの量化を選択したか
ud-iq4-xs は推論速度とメモリ使用量のバランスが取れた量化形式であり、RTX 5070 Ti の VRAM 16GB 内に収まるように設計されています。他の量化形式と比較して読み込みテープのスループットが大幅に向上し、実用的な推論遅延を提供します。
どのように測定したか
ローカルのテストベンチで以下を計測しました: readingTps 2498.5、writingTps 71.1、powerWatts 450W。この測定は Strata アプリ内のベンチマークモードで行い、結果は readingTps が顕著に高く、writingTps は許容範囲内であることを示しています。電力使用量は実測値の 450W で、PC の通常動作時と変わらない値です。
比較と適合性
VRAM Usage は 16GB で、量化されたモデルが余裕を持って収まることを確認しました。fit は Good であり、システムの安定性に問題はありません。消費電力は 450W で、RTX 5070 Ti の仕様範囲内にあります。
| 項目 | 値 |
|---|---|
| VRAM (GB) | 16 |
| Reading TPS | 2498.5 |
| Writing TPS | 71.1 |
| Power (W) | 450 |
コア用語の定義
"ud-iq4-xs" とは、Transformer モデルの量化手法の一つで、重みを非対称な IDQ4 スケーリングで圧縮しつつ、精度劣化を最小限に抑えた形式を指します。