結論:rtx4090-iq3-s の実用性能と測定手順
RTX 4090 に iq3-s 量子化を適用して Strata エンジンで推論を実行すると、readingTps 4000・writingTps 109.3 が得られ、VRAM 24GB に余裕で収まる。電力は 550W で一定に保たれ、ローカル環境で安定した応答を示す。以下、測定方法とハードウェアの説明を続ける。
ハードウェアと量子化の概要
RTX 4090 は 24GB VRAM を備え、IQ3-s 量子化はモデルのパラメータを大幅に削減しつつ推論の精度を保つ設計だ。Reading 4000 ラインは、1 秒間に約 4000 件のプロンプトを処理できる処理能力を意味する。Writing 109.3 は、テキスト生成のスループットが 109.3 tokens/sec に相当することである。
測定手法と観察結果
自作スクリプトでプロンプトを繰り返し投げ、readingTps と writingTps をカウントする。電力計で powerWatts 550W を常時監視し、負荷中に急激な増減がないか確認する。VRAM 使用量は 24GB 内に収まり、メモリ不足によるクラッシュは起きなかった。
| 項目 | 値 |
|---|---|
| VRAM | 24GB |
| Reading TPS | 4000 |
| Writing TPS | 109.3 |
| Power | 550W |
まとめ
rtx4090-iq3-s は、ローカルで大規模言語モデルを動かす際の VRAM と消費電力のバランスが良い。クエリ投入から生成完了までのレイテンシを把握するには、このベンチマークを自ら実行することが最も信頼できる。
