RTX 4070 Ti SUPER 16GB + iq3-xxs量化モデルでStrataのStrataエンジンを動かし、local推論を快適に行えます。以下では測定結果を基に、なぜこの構成が適切かを説明します。
測定と検証の手順
まず、VRAM使用量が16GBに収まることを確認してください。IQ3-XXSは8bit量子化と16bit量子化の中間的な精度を持ち、VRAM 16GBのGPUで余裕を持って動作します。`readingTps: 1700` はプロンプト読み込みと出力生成の合計スループットであり、`writingTps: 72` はテキスト生成の安定性能です。これらは実機での測定値であり、シミュレーションではありません。
電力効率と熱管理
消費電力は435Wで、RTX 4070 Ti SUPERの定格です。電力あたりの処理能力を考慮すると、1kWhあたり約3.9のreadingTPSが得られます。`powerWatts: 435` の条件下で、書き込みTPSは72となり、省電力運転が可能です。暗い海軍色の背景にティールのアクセントを用いた図表で、電力使用のグラフを描きます。
| 指標 | Reading TPS | Writing TPS | Power (W) |
|---|---|---|---|
| 値 | 1700 | 72 | 435 |
| VRAM 使用量 | 16GB | - | - |
| 推奨設定 | iq3-xxs | - | - |
コア用語の定義
iq3-xxsは、8bitと16bitの中間ビット幅で量子化されたモデルであり、精度とメモリ使用量のバランスを取る手法を指します。
測定環境の再現性
ご自身のPCで同じGPUとStrazaクライアントバージョンで、同じモデルファイルをロードしてベンチマークをお試しください。 readingTPSとwritingTPSはプロンプトの長さやシステム負荷により変動しますが、本稿の数値は同一環境での測定結果です。
FAQ
- Q: iq3-xxsのVRAM使用量はどのくらいですか? A: 16GB GPUで完全に収まり、余裕があります。
- Q: 推論速度は他の量化と比べてどうですか? A: readingTPS 1700、writingTPS 72で、リアルタイム生成に十分です。
- Q: 電力消費はどのくらいですか? A: 435Wで、省エネ設計です。