ローカルLLMのtokens-per-second：Stratatでの測定と解釈方法

tokens-per-second（T/s）は、ローカルLLMの推論速度を測る最も直接的な指標であり、ユーザー体験の快適さを決定づける主要因です。Stratappクライアントのログや出力ストリームを確認することで、自分のマシンが実際にどのくらいの速度でトークンを生成しているかをリアルタイムで把握できます。この値が高いほど、対話のレスポンスが速くなり、操作性が向上します。

測定方法と解釈

Stratアプリを使用してモデルを起動した後、プロンプトを入力して応答を待ちます。生成速度は、モデルのサイズ、使用するGPUのVRAM、そして量子化のレベルによって大きく変動します。通常、Stratのインターフェースや出力ストリームには、秒間あたりのトークン数が表示されるか、またはログから逆算することが可能です。この数値が低い場合は、モデルがVRAMをオーバーフローしているか、CPUオフロードが発生している可能性があります。逆に、値が安定していれば、ハードウェアが最適に機能している証拠です。

電力コストとの関係

速度は電力消費と直結します。日本の家庭用電気料金の目安である31円/kWhを基準に考えると、高速な推論は短時間の高密度な電力消費を意味します。tokens-per-secondを最適化することは、単に速さだけでなく、コスト効率の良い運用にもつながります。Stratエンジンはこのバランスを調整するために設計されています。

tokens-per-secondとは、AIモデルが1秒間に生成するトークンの数を指し、ローカル環境での推論パフォーマンスを評価する基本的な単位です。