使い方
最初のリクエストは重みをディスクからメモリに読み込むため、数秒から 1 分かかることがあります。以降は再利用されます。毎回遅い場合はモデルが入れ替えられており、選んだ量子化に対して RAM が足りません。