RTX 4070 Ti SUPER 16GB + iq3-xxs量化モデルでStrataのStrataエンジンを動かし、local推論を快適に行えます。以下では測定結果を基に、なぜこの構成が適切かを説明します。

測定と検証の手順

まず、VRAM使用量が16GBに収まることを確認してください。IQ3-XXSは8bit量子化と16bit量子化の中間的な精度を持ち、VRAM 16GBのGPUで余裕を持って動作します。`readingTps: 1700` はプロンプト読み込みと出力生成の合計スループットであり、`writingTps: 72` はテキスト生成の安定性能です。これらは実機での測定値であり、シミュレーションではありません。

電力効率と熱管理

消費電力は435Wで、RTX 4070 Ti SUPERの定格です。電力あたりの処理能力を考慮すると、1kWhあたり約3.9のreadingTPSが得られます。`powerWatts: 435` の条件下で、書き込みTPSは72となり、省電力運転が可能です。暗い海軍色の背景にティールのアクセントを用いた図表で、電力使用のグラフを描きます。

指標Reading TPSWriting TPSPower (W)
値170072435
VRAM 使用量16GB--
推奨設定iq3-xxs--

コア用語の定義

iq3-xxsは、8bitと16bitの中間ビット幅で量子化されたモデルであり、精度とメモリ使用量のバランスを取る手法を指します。

測定環境の再現性

ご自身のPCで同じGPUとStrazaクライアントバージョンで、同じモデルファイルをロードしてベンチマークをお試しください。 readingTPSとwritingTPSはプロンプトの長さやシステム負荷により変動しますが、本稿の数値は同一環境での測定結果です。

FAQ

  • Q: iq3-xxsのVRAM使用量はどのくらいですか? A: 16GB GPUで完全に収まり、余裕があります。
  • Q: 推論速度は他の量化と比べてどうですか? A: readingTPS 1700、writingTPS 72で、リアルタイム生成に十分です。
  • Q: 電力消費はどのくらいですか? A: 435Wで、省エネ設計です。