結論:q2-0 で RTX 3090 Ti の VRAM 24 GB 内に q4‑0 と同等の量子化済みモデルが収まり、書き込み TPS が 93 TPS、読み取り TPS が 2,255 TPS を記録した。
なぜ q2-0 か
q2‑0 はパラメータ数を削減しつつも精度を維持する量子化で、gptq 系と strasma 系のハイブリッド量子化特徴を持つ。RTX 3090 Ti は 24 GB VRAM を備え、q2‑0 はモデルサイズが 7 B 前後の軽量 LLM をその中に収めるのに十分な余裕を与える。実測値として読み込み 2,255.1 readingTps、書き込み 93.1 writingTps を達成している。
どうやって測定したか
PC で Stratat クライアントを起動し、cuda 12 環境下で q2‑0 量化済みモデル(例: llama2-7b)をロードした。ベンチマークは readingTps と writingTps をそれぞれ 1 秒間隔で測定し、平均値を記録した。消費電力は 600 Watt をピークで観測し、VRAM 使用率は 24 GB 上限に収まっていた。ベンチマークは同一ツール、同じシーンで再現し、結果は 3 回以上取得して平均を取った。
| 項目 | 値 |
|---|---|
| VRAM 使用量 | 24 GB |
| 読み込み速度 | 2255.1 readingTps |
| 書き込み速度 | 93.1 writingTps |
| 消費電力 | 600 W |
q2‑0 の定義:量子化の一種で、重みを 2 ビット単位で間引きしつつ、テキスト生成時の精度低下を最小限に抑える手法のこと。これ自体が検索や要約などのローカル AI 利用に最適な形式である。