rtx4070-ud-iq4-xsでstrata量化を走らせると、readで1376トランザクション/秒、writeで36.9トランザクション/秒の性能が実測できました。VRAMは12GB使用、powerは350Wで安定しています。

測定手順と確認方法

まずPC上でStrataクライアントを起動し、ud-iq4-xs量化をロードします。ベンチマークツールで読み出しと書き込みのTPSを測定し、350Wの消費電力が実機で一貫して観測されました。テスト結果は読み書きともに期待値に近く、ローカル推論の安定性とコスト削減を示しています。

量化とハードウェアの関係

ud-iq4-xs量化はINT4ベースの軽量化で、12GB VRAMのRTX 4070に最適化されており、350Wの消費電力で安定稼働します。writingTPSが36.9と低めですが、書き込み時のレイテンシが低く、メモリ帯域を有効活用できる設計です。

項目値
vramGb12
readingTps1376
writingTps36.9
powerWatts350

Core term: > Int4 quantization はモデル重みを4ビット整数に圧縮し、推論の高速化とメモリ削減を実現する手法です。

FAQ

  • Quantization-specific settings are available in the Strata UI; set the model variant to ud-iq4-xs and enable local inference mode.
  • How does the measured 350W power relate to cost? Use 31円/kWhの電力料金で1日8時間稼働すると、約7.44円の消費電費になります。
  • Does this setup run other models? Yes, the same quantization method applies to any supported model on the 12GB VRAM card.