Radeon RX 7900 XTXはVRAM 24GBを備え、Coder量子化されたモデルを「Good」と評価されるレベルで快適に動作させることができます。実測によると、トークン読み込み速度は約1459.3Tps、生成速度は75.5Tpsを記録し、高負荷時の消費電力は475Wに達しました。

速度とVRAMのバランス

このGPUは24GBのVRAMを積んでいるため、VRAM不足によるスワッピングを防ぎつつ、高いスループットを実現しています。読み込み速度が非常に速いため、プロンプトの初期処理やコンテキストの読み込みは瞬時に行われます。生成速度も実用的な範囲内であり、コーディング支援などのリアルタイム性を求めるタスクに適しています。

電力コストの計算

日本の電気料金を1kWhあたり31円として計算すると、475Wの負荷状態で1時間稼働すると約14.7円のコストがかかります。長時間の推論では電気代が累積するため、冷却環境の整備と効率的なバッチ処理が重要です。Stratエンジンを使用すれば、このハードウェアの限界を最大限に引き出すことができます。

実測データの検証

以下の表は、Stratクライアントを用いて測定した具体的な数値です。ご自身の環境でもStratツールを実行し、これらのパラメータに近い結果が出るか確認してみてください。

パラメータ数値備考
VRAM容量24GBモデルのロードに十分
読み込み速度1459.3 Tps初期処理の快適さ
書き出し速度75.5 Tps生成のリアルタイム性

量子化の意味

量子化とは、モデルの重精度を意図的に低下させることで、計算速度を向上させ、メモリ使用量を削減する技術であり、これによりローカル環境での実用的な推論が可能になります。