AMD Radeon RX 9070 XT 16GB上でiq3-xxs量子化モデルを実行すると、読み取り速度は1652Tps、書き込み速度は53.8Tpsとなり、消費電力は454Wを記録します。VRAM使用量は16GBで収まり、パフォーマンスは良好と評価できます。

速度と消費電力の解釈

Stratクライアントでこのモデルを実行する場合、読み取り速度1652Tpsは非常に高速なトークン生成を意味します。書き込み速度53.8Tpsは、入力の処理速度を示します。消費電力454Wは、GPUの負荷が高い状態であることを示しています。

電力コストの計算

日本の電気料金を31円/kWhとして計算すると、1時間あたりの電気代は約14.1円です。長時間の推論ではこのコストが累積します。

測定方法

StratクライアントのログからTps値を確認できます。電力はマルチメータで測定します。VRAM使用量はタスクマネージャーで監視します。

量子化の意味

iq3-xxs量子化は、モデルの精度を維持しつつ、メモリ使用量と計算コストを大幅に削減する技術です。これにより、16GBのVRAMでも効率的に動作します。

指標値説明
読み取り速度1652 Tpsトークン生成速度
書き込み速度53.8 Tps入力処理速度
消費電力454 WGPUの電力消費
VRAM使用量16 GBメモリ使用量

まとめ

RX9070XT 16GBはiq3-xxsモデルに適しており、高速な推論と適切な電力消費を実現します。Stratエンジンとの相性も良好です。