AMD Radeon RX 7900 XTXの24GB VRAM環境において、iq2-xs量子化モデルは「Good」と評価される安定した動作を示します。本設定では、1秒間に1459.3トークンを読み取り、75.5トークンを生成する速度が実測されており、この処理能力を支えるための消費電力は475Wとなっています。

測定環境とVRAMの余裕

RX 7900 XTXに搭載された24GBのVRAMは、iq2-xsという極めて圧縮率の高い量子化形式において「Good」というフィット感を示しました。この量子化レベルはモデルの精度をある程度犠牲にしますが、その分メモリ使用量を劇的に削減し、高スペックなGPUでも収まりきらなかった巨大なモデルを動作させることを可能にします。ユーザー自身は、システムモニタリングツールを使ってVRAMの占有率を確認し、オーバーフローせずに安定して動作しているかをチェックしてください。この量子化は、速度よりも「動いたかどうか」を最優先するシナリオに適しています。

パフォーマンスの実測値

処理速度の観点では、読み取り速度(readingTps)が1459.3という非常に高い数値を記録しています。これは、モデルのコンテキストや内部データをGPUメモリから読み込む際の効率を示しています。一方、生成速度(writingTps)は75.5と、読み取りに比べて緩やかな値となっています。これは、トークンが一つずつ生成されるプロセスにおける演算負荷によるもので、ユーザーは実際のチャットや生成タスクにおいて、この75.5 TPSという速度が応答の心地よさやリアルタイム性に与える影響を体感することになります。

消費電力とランニングコスト

この高性能な処理を支えるために、GPUは475Wという大きな電力を消費します。日本の家庭の電気料金単価を約31円/kWhとして計算すると、この状態での1時間あたりの電力コストは約14.7円となります。長時間の推論を行う場合、この電力消費が電気代にどのように響くかを把握しておくことが重要です。GPUの負荷を監視し、アイドル状態ではないことを確認しながら、適切な冷却環境を整えることが、この電力効率を維持する鍵となります。

パラメータ値意味
VRAM24 GBグラフィックメモリ容量。iq2-xsモデルが収まる容量。
読み取り速度1459.3 TPS1秒あたりのトークン読み込み数。データの準備速度。
書き出し速度75.5 TPS1秒あたりの生成トークン数。ユーザーに見える応答速度。
消費電力475 WGPUの動作時の消費電力。冷却と電力供給の必要性を示す。

iq2-xs量子化とは、モデルの重みを極限まで圧縮してメモリフットプリントを最小限に抑える技術であり、これにより大規模なモデルを限られたリソースで動作させることを可能にします。