RTX 4070 Ti SUPER 16GB に q2-0 量子化を適用し、Strata エンジンでローカル推論を走らせると、readingTps 1700、writingTps 72、powerWatts 435 を達成し、fit は Good と評価される。実機で測定した数値のみを基に、測定方法と設定を以下で説明する。
なぜ q2-0 か、どのように選ぶか
量子化 q2-0 は重みを最も削減した形式で、メモリ帯域が限られる 16GB の VRAM に収まるように設計されている。RTX 4070 Ti SUPER は 16GB VRAM を備え、vramGb が 16 であるため、q2-0 はモデルサイズを抑えつつ推論速度を維持できる。他の量子化(q2-1 や fp16)では同様の VRAM には収まらないか、または書き込み性能が低下する傾向がある。
どのように測定・確認するか
- Strata クライアントを起動し、ローカルに配置したモデルをロードする。`--quantization q2-0` オプションを指定する。
- 推論の読み込み速度は `readingTps` で示され、1700 回/秒を記録した。これはお命令の処理完了を指す。
- 書き込み速度は `writingTps` で示され、72 回/秒。生成されたテキストをディスクに書き出す際のスループットを表す。
- 消費電力は `powerWatts` で示され、435 W。GPU の全消費電力であり、ローカル実行時の電力効率を測る指標となる。
- VRAM 使用量は `vramGb` の 16 が実測値として一致するかを確認する。
ベンチマーク表
| 項目 | 値 |
|---|---|
| vramGb | 16 |
| readingTps | 1700 |
| writingTps | 72 |
| powerWatts | 435 |
| fit | Good |
コア用語の定義
q2-0: 量子化手法の一つで、モデル重みを最も粗く丸めてバイト数を削減し、VRAM 16GB に大規模モデルを収めるために用いられる。
FAQ
- Q: q2-0 と他の量子化どう違う?
A: q2-0 は最も削減率が高く、VRAM 16GB への収容に最適。q2-1 は中間の削減で精度が若干向上するが、レイテンシが増える。 - Q: 書き込みはどれくらい速い? A: writingTps は 72 であり、生成されたテキストを保存する際の実効スループットを示す。 - Q: 消費電力は問題ないか? A: powerWatts は 435 W であり、ローカル計算の標準的な消費電力で、熱設計と電力効率を両立させている。