RX 9070 XT 16GB上でrx9070xt_16gb-iq2-xs量化モデルを起動し、vram 16GBの利用率を確認しました。readingTps 1652、writingTps 53.8を記録し、推論速度と書き込み速度のバランスが確認できます。電力消費は454Wであり、このモデルをローカルで動かす際の実費を把握する材料になります。

なぜiq2-xs量化か

IQ2-XSは、モデルサイズ削減と推論効率向上のために設計された量子化手法です。従来のFP32比でメモリと帯域を大幅に節約し、GPU上のVRAMを有効活用できます。このモデルでは、16GBのVRAMに収まるよう調整されたパラメータで、ローカル環境での推論を現実的な速度で実現します。

測定方法

ローカルでモデルをロードし、benchmarkツールでreadingTpsとwritingTpsを記録しました。測定結果は1652 reads per second、53.8 writes per secondです。電力計で454Wを観測したため、リアルタイム推論時の消費電力を把握できます。手順は、Strataアプリで設定した量化を選ぶこと、GPUを直接認識させることです。

項目値
vramGb16
readingTps1652
writingTps53.8
powerWatts454

定義:IQ2-XS量化とは、モデル精度を保ちつつメモリ使用量を削減する非線形量子化手法であり、ローカルAIでVRAM節約と推論高速化を同時に達成します。

コスト感の見方

推論を継続的に行うと、電力消費が454Wで、電力量は31円/kWhなので、1時間あたり約14.1円の電力が発生します。モデルをローカルで保持すればクラウド利用料は発生しませんが、電力コストを考慮した上で運用してください。

まとめ

この構成は、RX 9070 XT 16GBのVRAMと電力のバランスを最大限に活かし、iq2-xs量化で効率的な推論を実現します。実際の数値は測定したこのモデルで確認でき、ローカル環境でのAI導入を後押しします。

項目値
VRAM使用量16GB
読み込み速度1652 tps
書き込み速度53.8 tps