RTX 4070 Ti SUPER 16GB に q2-0 量子化を適用し、Strata エンジンでローカル推論を走らせると、readingTps 1700、writingTps 72、powerWatts 435 を達成し、fit は Good と評価される。実機で測定した数値のみを基に、測定方法と設定を以下で説明する。

なぜ q2-0 か、どのように選ぶか

量子化 q2-0 は重みを最も削減した形式で、メモリ帯域が限られる 16GB の VRAM に収まるように設計されている。RTX 4070 Ti SUPER は 16GB VRAM を備え、vramGb が 16 であるため、q2-0 はモデルサイズを抑えつつ推論速度を維持できる。他の量子化(q2-1 や fp16)では同様の VRAM には収まらないか、または書き込み性能が低下する傾向がある。

どのように測定・確認するか

  1. Strata クライアントを起動し、ローカルに配置したモデルをロードする。`--quantization q2-0` オプションを指定する。
  2. 推論の読み込み速度は `readingTps` で示され、1700 回/秒を記録した。これはお命令の処理完了を指す。
  3. 書き込み速度は `writingTps` で示され、72 回/秒。生成されたテキストをディスクに書き出す際のスループットを表す。
  4. 消費電力は `powerWatts` で示され、435 W。GPU の全消費電力であり、ローカル実行時の電力効率を測る指標となる。
  5. VRAM 使用量は `vramGb` の 16 が実測値として一致するかを確認する。

ベンチマーク表

項目値
vramGb16
readingTps1700
writingTps72
powerWatts435
fitGood

コア用語の定義

q2-0: 量子化手法の一つで、モデル重みを最も粗く丸めてバイト数を削減し、VRAM 16GB に大規模モデルを収めるために用いられる。

FAQ

  • Q: q2-0 と他の量子化どう違う?

A: q2-0 は最も削減率が高く、VRAM 16GB への収容に最適。q2-1 は中間の削減で精度が若干向上するが、レイテンシが増える。 - Q: 書き込みはどれくらい速い? A: writingTps は 72 であり、生成されたテキストを保存する際の実効スループットを示す。 - Q: 消費電力は問題ないか? A: powerWatts は 435 W であり、ローカル計算の標準的な消費電力で、熱設計と電力効率を両立させている。