128KのコンテキストをStratatでローカルに走らせるには、まずPCIe経由でGPUに大容量VRAMを割り当て、モデルファイルを正しく配置します。手順は次のとおりです。
なぜ128Kのコンテキストが必要か
大規模な言語モデルは長い文脈を保持する能力が向上し、文書全体を一度に扱う用途に適しています。Stratatはローカルでこれを実現する設計のため、128Kのトークン長を維持する設定が重要です。
どのように128Kを設定するか
GPUのVRAMが足りる機器を選び、モデルを静的なページとしてビルドします。モデルの重みを読み込む際に、コンテキスト長のパラメータを128Kに設定します。この設定は、プロンプトエディタで文字列として入力し、保存後に再起動します。
性能とコストの目安
以下は測定された事実に基づく表です。
| 項目 | 値 |
|---|---|
| モデルサイズ | 128Kトークン |
| 必要なVRAM | GPUメモリの80%以上 |
| 推論レイテンシ | コンテキスト長によって増減 |
128Kのコンテキストを持つモデルをStratatで実行すると、入力に対してより長い回答が得られます。コスト面では、電力消費が大きくなるため、使用時間に応じた電力量を考慮する必要があります。
#定義された用語: コンテキスト長 "コンテキスト長とは、モデルが同時に処理できる入力シーケンスの長さを指し、128Kは約131,072トークンに相当します。"
測定方法
自分のマシンでVRAM使用量をmonitorし、推論時間を記録します。電力センサーでkWhあたりのコストを把握し、消費電力が大きい場合はバッチ処理で分割します。