AMD Radeon RX 7900 XTXは、24GBのVRAMを持つため、q2-0量子化された大規模モデルのローカル実行において「Good」と評価される性能を発揮します。この構成では、1459.3 t/sという高速なトークン生成速度が実現可能であり、実用的な対話速度を提供します。一方で、475Wという高い消費電力と、75.5 t/sの比較的低い書き込み速度は、電力効率やバッチ処理における留意点を示しています。

測定環境とハードウェアの特性

この評価は、AMD Radeon RX 7900 XTXというハイエンドGPUを基盤としています。このカードの最大の特徴は、24GBという大容量のVRAMです。q2-0量子化はモデルの重みを極限まで圧縮するため、通常では24GBでは収まらないような巨大なモデルでも、このカードであればメモリに載せることが可能です。これが「fit: Good」と判断される主な理由です。ユーザーご自身のマシンで確認する際は、Stratatクライアントのモニタリングパネルを開き、VRAMの使用率が90%を超えずにモデルがロードされているかを確認してください。モデルがロードできない場合、量子化レベルをq3やq4に変更する必要があるかもしれませんが、q2-0であればこのGPUでは確実に動作します。

速度と電力の現実

生成速度(writingTps)は75.5 t/s、読み取り速度(readingTps)は1459.3 t/sという測定結果が出ました。読み取り速度が極めて高いのは、量子化された重みのデコード処理が最適化されているためと考えられます。一方、75.5 t/sという書き出し速度は、テキストを出力する際のリアルタイム性において、必ずしも最速とは言えない数値です。これはGPUの演算能力が限界近くで使用されているか、あるいは量子化の精度(q2-0)が処理オーバーヘッドを生んでいる可能性があります。ユーザーは、Stratatのログ出力からこの数値をリアルタイムで監視し、自分の利用シーン(チャットか、バッチ処理か)に適しているか判断する必要があります。

電力面では、アイドル時ではなくモデル推論中に475Wを消費します。日本の家庭の電気料金を1kWhあたり31円として計算すると、1時間推論を続けると約14.72円の電気代がかかります。長時間の利用ではコストが積もるため、電力管理の設定を確認することが重要です。自分のマシンでこの消費電力を確認するには、GPUのモニタリングツール(GPU-ZやStratatの電力グラフ)を用いて、推論中の瞬間的な消費電力が475W前後で安定しているか確認してください。

測定データ一覧

以下の表は、Stratatエンジン上で測定された実際の数値です。これらは理論値ではなく、実際のハードウェアでの計測結果です。

指標数値意味合い
VRAM容量24GBq2-0モデルの収容可能容量を示す。このGPUでは収まる。
読み取り速度1459.3 t/s重みの読み込み速度。非常に高速でボトルネックになりにくい。
書き出し速度75.5 t/sトークンの生成速度。実用的だが、最速ではない。
消費電力475W推論時の消費電力。高消費電力な運用となるため注意が必要。

量子化の定義

「q2-0量子化とは、モデルの重みを2ビットに圧縮することで、メモリ使用量を劇的に減らす代わりに、推論精度や速度に何らかのトレードオフを許容する技術である。」

この技術により、高価なGPUでなくても大規模モデルを動かせるようになりますが、その代償として生成速度の低下や精度の劣化が発生する可能性があります。自身の環境で測定し、そのバランスが許容範囲内かどうかを判断することが重要です。