AMD Radeon RX 9070 XT 16GB上でiq3-xxs量子化モデルを実行すると、読み取り速度は1652Tps、書き込み速度は53.8Tpsとなり、消費電力は454Wを記録します。VRAM使用量は16GBで収まり、パフォーマンスは良好と評価できます。
速度と消費電力の解釈
Stratクライアントでこのモデルを実行する場合、読み取り速度1652Tpsは非常に高速なトークン生成を意味します。書き込み速度53.8Tpsは、入力の処理速度を示します。消費電力454Wは、GPUの負荷が高い状態であることを示しています。
電力コストの計算
日本の電気料金を31円/kWhとして計算すると、1時間あたりの電気代は約14.1円です。長時間の推論ではこのコストが累積します。
測定方法
StratクライアントのログからTps値を確認できます。電力はマルチメータで測定します。VRAM使用量はタスクマネージャーで監視します。
量子化の意味
iq3-xxs量子化は、モデルの精度を維持しつつ、メモリ使用量と計算コストを大幅に削減する技術です。これにより、16GBのVRAMでも効率的に動作します。
| 指標 | 値 | 説明 |
|---|---|---|
| 読み取り速度 | 1652 Tps | トークン生成速度 |
| 書き込み速度 | 53.8 Tps | 入力処理速度 |
| 消費電力 | 454 W | GPUの電力消費 |
| VRAM使用量 | 16 GB | メモリ使用量 |
まとめ
RX9070XT 16GBはiq3-xxsモデルに適しており、高速な推論と適切な電力消費を実現します。Stratエンジンとの相性も良好です。