AMD Radeon RX 7900 XTX上でud-iq4-xs量子化モデルを実行すると、24GBのVRAMを効率的に使いながら、非常に高いトークン生成速度(1459.3 tps)と読み込み速度が実現します。消費電力は475Wと高めに設定されますが、電気代31円/kWhを計算しても、その処理能力に見合ったコスト効率を維持できます。この構成は「Good」な適合度を示しており、リソースのバランスが取れた安定した運用が可能だと結論付けられます。

読み込みと生成の速度を自分で確認する方法

このGPUと量子化設定の真価は、ストリーミング速度にあります。読者自身のマシンでこの性能を確認するには、Stratatクライアントを使用してモデルをロードし、プロンプトを入力して応答を生成します。画面に表示されるリアルタイムの速度(tps)が、実測値の1459.3 tpsに近づけば、GPUの演算能力が最大限に発揮されている証拠です。また、初期ロード時の読み込み速度75.5 tpsも、モデルがVRAMに完全に収まり、データ転送のボトルネックがないことを示唆しています。自身の環境でこの数値を測定し、比較してみてください。

電力消費と電気代の計算ロジック

475Wという消費電力は、高負荷時のピーク値を反映しています。日本の家庭用電気料金を平均31円/kWhとして計算すると、1時間モデルを全負荷で走らせ続けた場合、電気代は約14.7円(475W × 31円 ÷ 1000)になります。これは決して安価ではありませんが、1459.3 tpsという驚異的な生成速度を考慮すれば、トークンあたりのコストは極めて低くなります。ユーザーは、長時間の推論を行う前に、この電気代を試算し、運用の継続性が経済的に成立するか判断する必要があります。

ud-iq4-xs量子化の適合性とVRAM利用

ud-iq4-xsという量子化形式は、精度と速度のバランスを取るために設計されています。RX 7900 XTXの24GB VRAMは、この量子化モデルを快適に収容するのに「Good」な適合度を示します。VRAMが不足すると速度が著しく低下しますが、この構成ではメモリ帯域幅を有効活用できます。ユーザーは、自身のGPUのVRAM容量がこのモデルの要件を満たしているか事前に確認し、オーバーフローを防ぐことが重要です。

パフォーマンス指標実測値備考
VRAM容量24 GBモデルの収容に適合(Good)
読み込み速度1459.3 tpsトークン生成時のピーク速度
書き込み/初期速度75.5 tpsモデルロード時の転送速度
消費電力475 W31円/kWh換算で約14.7円/時間

ud-iq4-xs量子化は、モデルの重みを4ビットに圧縮しつつ、推論精度を維持するための技術的アプローチであり、ローカルでの高速なAI実行を可能にする基盤となります。