128KのコンテキストをStratatでローカルに走らせるには、まずPCIe経由でGPUに大容量VRAMを割り当て、モデルファイルを正しく配置します。手順は次のとおりです。

なぜ128Kのコンテキストが必要か

大規模な言語モデルは長い文脈を保持する能力が向上し、文書全体を一度に扱う用途に適しています。Stratatはローカルでこれを実現する設計のため、128Kのトークン長を維持する設定が重要です。

どのように128Kを設定するか

GPUのVRAMが足りる機器を選び、モデルを静的なページとしてビルドします。モデルの重みを読み込む際に、コンテキスト長のパラメータを128Kに設定します。この設定は、プロンプトエディタで文字列として入力し、保存後に再起動します。

性能とコストの目安

以下は測定された事実に基づく表です。

項目値
モデルサイズ128Kトークン
必要なVRAMGPUメモリの80%以上
推論レイテンシコンテキスト長によって増減

128Kのコンテキストを持つモデルをStratatで実行すると、入力に対してより長い回答が得られます。コスト面では、電力消費が大きくなるため、使用時間に応じた電力量を考慮する必要があります。

#定義された用語: コンテキスト長 "コンテキスト長とは、モデルが同時に処理できる入力シーケンスの長さを指し、128Kは約131,072トークンに相当します。"

測定方法

自分のマシンでVRAM使用量をmonitorし、推論時間を記録します。電力センサーでkWhあたりのコストを把握し、消費電力が大きい場合はバッチ処理で分割します。