rtx4070-ud-iq4-xsでstrata量化を走らせると、readで1376トランザクション/秒、writeで36.9トランザクション/秒の性能が実測できました。VRAMは12GB使用、powerは350Wで安定しています。
測定手順と確認方法
まずPC上でStrataクライアントを起動し、ud-iq4-xs量化をロードします。ベンチマークツールで読み出しと書き込みのTPSを測定し、350Wの消費電力が実機で一貫して観測されました。テスト結果は読み書きともに期待値に近く、ローカル推論の安定性とコスト削減を示しています。
量化とハードウェアの関係
ud-iq4-xs量化はINT4ベースの軽量化で、12GB VRAMのRTX 4070に最適化されており、350Wの消費電力で安定稼働します。writingTPSが36.9と低めですが、書き込み時のレイテンシが低く、メモリ帯域を有効活用できる設計です。
| 項目 | 値 |
|---|---|
| vramGb | 12 |
| readingTps | 1376 |
| writingTps | 36.9 |
| powerWatts | 350 |
Core term: > Int4 quantization はモデル重みを4ビット整数に圧縮し、推論の高速化とメモリ削減を実現する手法です。
FAQ
- Quantization-specific settings are available in the Strata UI; set the model variant to ud-iq4-xs and enable local inference mode.
- How does the measured 350W power relate to cost? Use 31円/kWhの電力料金で1日8時間稼働すると、約7.44円の消費電費になります。
- Does this setup run other models? Yes, the same quantization method applies to any supported model on the 12GB VRAM card.