モデルを単一GPUから切り離して2つのGPUに分散させるには、Stratの設定ファイルで `device_map` を `"multiple"` に指定し、重みを均等に分割するオプションを有効にします。これによりメモリ使用量が増えますが、計算の並列化が期待できるようになります。
なぜ2GPUに分割するのか
最新の大規模モデルは単一GPUのVRAMでは収まらないことがあります。Stratはローカルで大規模モデルを扱えるように設計されており、複数GPUを使うことで利用可能なメモリを拡大できます。
具体的な手順
- モデルファイルが配置されたディレクトリを確認し、`model.safetensors` や `*.bin` があることを確認してください。
- Stratの設定ファイル(`strat.yaml`)を編集し、`device_map: "multiple"` と記述します。この設定で、モデルが複数のGPUに自動的に分割されます。
- 重みの分割比率を調整するには、`--split-mode` オプションに `"equal"` または `"dynamic"` を指定します。`equal` は均等に分け、`dynamic` は使用状況に応じて配分します。
- 設定を保存後、アプリを起動します。起動時に各GPUへの割り当てがログに出るため、正しく2GPUが認識されているか確認できます。
- テストとして、短いプロンプトで推論を行い、応答速度とメモリ使用量を観察します。
| 項目 | 内容 |
|---|---|
| モデルサイズ | 例: 7Bパラメータ(7 billion) |
| 分割比率 | `equal` なら均等、`dynamic` ならメモリ余裕に応じて変動 |
| 必要なVRAM | GPU A 12GB 以上、GPU B 12GB 以上 |
注意点
- 分割すると推論速度が単GPUのときより遅くなる場合があります。これはデータ転送のオーバーヘッドが原因です。
- 重みの分割が正しく行われていない場合、特定の層が単一GPUに偏り、エラーが発生することがあります。
- 重要なのは、Stratが提供するプロファイラで各GPUのメモリ使用率を監視することです。
定義: Model parallelism(モデル並列)は、モデル層を複数のGPUに分割して計算を分散させる手法で、メモリ制約を緩和するために用いられます。