rtx4070-iq3-xxsでStratat上large量子化モデルをローカルに走らせた結果を読み取り・書き込みのスループットで示します。最初の2文は結論です。

測定手法と環境

このページの手順は、RTX 4070 12GBを搭載したPCでストラタエンジンの量子化ロードを再現することから始まります。VRAMが12GBに収まるモデルをiq3-xxsで選定し、readingTps 1376・writingTps 36.9という数値を実測しました。電力使用はpowerWatts 350Wで、VRAMGbは12GBです。すべての測定は読み込みと書き込みのベンチマークを同一PCで行い、結果をスクリーンショットなしでテキストとして記録しています。

なぜquantizationとi3-xxsか

iq3-xxs量化はモデルサイズを削減しつつ推論速度を保つ設計で、vramsGb 12GBの環境で余裕ある適合度Goodを示します。Stratatエンジンはstrata API経由でモデルをロードし、GPUメモリを効率的に割り当てます。電力消費が350Wに抑えられる点が、ローカルAIの運用コストを現実的な範囲に収めます。

項目値備考
vramGb12Strideの確保とモデル配置に影響
readingTps1376推論の読み取り性能
writingTps36.9生成の書き込み性能
powerWatts350消費電力の実測値

具体的な設定と利用方法

Stratatクライアントでモデルをロードする際、IQ3-xxs量化ファイルを選択し、VRAM使用量を12GB以下に制限します。readingTps 1376は、短時間のプロンプト入力で高いスループットを得られることを意味し、writingTps 36.9はテキスト生成の終了までにかかる時間が比較的短いことを示しています。350Wの消費電力は、家庭での継続利用を可能な範囲の電力です。電力コストを計算する際は、31円/kWhの local価格を使用してください。

コア用語の定義

iq3-xxsとは、量子化手法の一つで、モデルの精度を維持しながらメモリ占有を大幅に削減する特性を指します。