GPUメモリ帯域幅は、ローカルLLMの推論速度を決定する最も重要なボトルネックの一つです。計算性能(FLOPS)がどれだけ高くても、メモリからデータを読み出す速度が遅ければ、モデルは待たされることになります。この現象をメモリバウンド(Memory-bound)と呼び、特に推論段階ではこれが性能を支配します。
なぜ帯域幅が速度を左右するのか
LLMの推論、特にトークン生成(Autoregressive generation)の段階では、モデルは一度に一つのトークンを予測します。この際、モデルの全パラメータ(重み)をメモリからCPUやGPUコアへ読み込む必要があります。現代の高性能GPUは計算速度が非常に速いため、データの供給が追いつかず、GPUコアがアイドル状態になることがよくあります。つまり、計算そのものよりも、メモリからデータを持ってくる速度の方が問題なのです。
測定と確認の方法
自分のマシンでこの制約がどれほど影響しているかを確認するには、ベンチマークツールを使用するのが確実です。例えば、llama.cppのようなローカル推論エンジンを使用している場合、コマンドラインオプションでメモリ帯域幅の使用状況や、トークン生成速度(tokens per second)を監視できます。また、GPU-ZなどのツールでGPUのメモリ転送速度を確認することもできます。重要な点は、モデルの量子化(Quantization)レベルによって、読み込むデータ量が減り、結果として帯域幅の要求が下がり、速度が向上する傾向があることです。例えば、FP16からINT8やINT4に量子化すると、メモリ上のデータサイズが半減以下になるため、同じ帯域幅でもより多くのパラメータを素早く読み込めるようになります。
帯域幅とパフォーマンスの関連性
| メモリ仕様 | 典型的な帯域幅 | 推論への影響 |
|---|---|---|
| 消費電力と冷却 | 高帯域幅GPUは発熱が激しく、冷却コストが増加する | 冷却コストは電気代(31円/kWh)として直接コストに跳ね返る |
| メモリ幅とクロック | 帯域幅 = メモリ幅 × クロック速度 × 8 (GDDRの場合) | この数値が高いほど、より多くのデータを並列で転送できる |
| 量子化の影響 | INT4量子化はデータサイズを約4分の1に圧縮 | 帯域幅の制約を緩和し、速度向上に寄与するが精度低下のリスク |
GPUメモリ帯域幅とは、GPUのメモリコントローラーが単位時間あたりにメモリとやり取りできるデータの最大量であり、ローカルLLMの推論速度を物理的に制限する主要因となる指標です。