RTX 3090 Tiを使用してCoder.quantizationモデルをStratエンジンでローカル実行する場合、24GBのVRAMで良好に動作しますが、600Wという高い電力消費が特徴です。読み込み速度は秒間2255.1トークンで非常に高速ですが、生成速度は秒間93.1トークンに留まります。これは、この構成が大量のコード生成タスクには適している一方で、電気代が31円/kWhの日本の現状では、長時間の推論には注意が必要です。

測定環境と実測性能

Stratクライアント上でこのベンチマークを取得するには、GPUの負荷を監視しながらモデルをロードする必要があります。RTX 3090 Tiは24GBのVRAMを積んでいますが、Coderモデルの重みと活性化状態を考慮すると、VRAM使用量は「Good」レベルに収まります。これは、他の大きなモデルではOOM(Out Of Memory)エラーが発生しやすい環境において、この特定の.quantizationが最適化されていることを示しています。

読み込み速度(readingTps)の2255.1は、コンテキストウィンドウの初期化やプロンプト処理が極めてスムーズに行われることを意味します。対照的に、書き込み速度(writingTps)の93.1は、トークンが一つずつ生成される際のリアルタイム処理能力を示しています。この差は、LLMのアーキテクチャ特性によるもので、ユーザーはインタラクティブなコーディング支援においてはわずかなレイテンシーを感じる可能性があります。

電力消費と運用コスト

このGPUの最大消費電力は600Wに達します。日本の一般的な電気料金単価31円/kWhを基に計算すると、1時間あたりの電力コストは約18.6円となります。これは、他の省電力GPUと比較して非常に高額なランニングコストです。長時間のコード生成タスクを実行する場合は、冷却性能と電力供給の安定性を確保する必要があります。

性能要約

以下の表は、rtx3090ti-coder構成における主要な実測値を示しています。

指標値意味
VRAM24GBモデルとシステム用のメモリ容量
読み込み速度2255.1 t/sコンテキスト処理の速さ
書き込み速度93.1 t/sコード生成のリアルタイム速度
電力消費600W最大負荷時のワット数
適合性GoodVRAM使用効率の評価

ローカルAI推論とは、クラウドサーバーではなく、ユーザー自身のハードウェア上で大規模言語モデルを実行し、データを外部に送信せずに処理する技術のことです。