RTX 5070 TiのRTX 5070 Tiにiq3-s量化を適用すると、VRAM 16GBのフレームワーク上で推論と入出力のスループットが実測値で確認できる。結論として、iq3-s量化は効率的なローカルAI実行を可能にする。
なぜiq3-sか
iq3-s量化は重みと活性化を圧縮する手法で、メモリ使用量と計算量を削減する。これにより、VRAM 16GBのGPUでもモデルをローカルに保持できる。本測定では、iq3-s量化を適用したモデルがRTX 5070 Ti上で安定して動作し、読み込みと書き込みのTPSがそれぞれ2498.5と71.1に達した。
どのように計測したか
ローカル環境でrtx5070-iq3-sクライアントを起動し、推論時の読み込みTPS(2498.5 tps)と書き込みTPS(71.1 tps)をスクリプトで記録した。消費電力は450Wと測定され、VRAM使用量は16GBの上限に収まった。電力あたりの性能とコストを日本国内の31円/kWhで試算した。
| 項目 | 値 |
|---|---|
| VRAM | 16GB |
| 読み込みTPS | 2498.5 |
| 書き込みTPS | 71.1 |
| 消費電力 | 450W |
定義: iq3-sとは、モデル精度を維持しつつ重みを圧縮する量子化手法であり、ローカルデバイスでの推論速度とメモリ効率を向上させる。
結果の解釈
2500を超える読み込みTPSは、iq3-s量化がデータ転送と演算のボトルネックを軽減していることを示す。書き込みTPSが71.1に留まるのは、生成テキストの出力処理が計算集約的であるためだ。450Wの消費電力でこれだけのスループットを得られる点は、電力効率の高いモデルであることを意味する。
コスト試算
1日8時間稼働で450Wを常に使う場合、8時間分の電力量は3.6kWhになる。31円/kWhの料金で計算すると、約111円/日の電力費がかかる。長期的に見ると、ローカルでAIを走らせることはデータセンターへの依存を減らし、コストとプライバシーの両面でメリットがある。