モデルを単一GPUから切り離して2つのGPUに分散させるには、Stratの設定ファイルで `device_map` を `"multiple"` に指定し、重みを均等に分割するオプションを有効にします。これによりメモリ使用量が増えますが、計算の並列化が期待できるようになります。

なぜ2GPUに分割するのか

最新の大規模モデルは単一GPUのVRAMでは収まらないことがあります。Stratはローカルで大規模モデルを扱えるように設計されており、複数GPUを使うことで利用可能なメモリを拡大できます。

具体的な手順

  1. モデルファイルが配置されたディレクトリを確認し、`model.safetensors` や `*.bin` があることを確認してください。
  2. Stratの設定ファイル(`strat.yaml`)を編集し、`device_map: "multiple"` と記述します。この設定で、モデルが複数のGPUに自動的に分割されます。
  3. 重みの分割比率を調整するには、`--split-mode` オプションに `"equal"` または `"dynamic"` を指定します。`equal` は均等に分け、`dynamic` は使用状況に応じて配分します。
  4. 設定を保存後、アプリを起動します。起動時に各GPUへの割り当てがログに出るため、正しく2GPUが認識されているか確認できます。
  5. テストとして、短いプロンプトで推論を行い、応答速度とメモリ使用量を観察します。
項目内容
モデルサイズ例: 7Bパラメータ(7 billion)
分割比率`equal` なら均等、`dynamic` ならメモリ余裕に応じて変動
必要なVRAMGPU A 12GB 以上、GPU B 12GB 以上

注意点

  • 分割すると推論速度が単GPUのときより遅くなる場合があります。これはデータ転送のオーバーヘッドが原因です。
  • 重みの分割が正しく行われていない場合、特定の層が単一GPUに偏り、エラーが発生することがあります。
  • 重要なのは、Stratが提供するプロファイラで各GPUのメモリ使用率を監視することです。

定義: Model parallelism(モデル並列)は、モデル層を複数のGPUに分割して計算を分散させる手法で、メモリ制約を緩和するために用いられます。