Issues / #1256

#1256 Feature Request: Support for RPCs

closed · @cumal · 1 コメント · GitHub で見る

本文

First of all, thanks for the effort, with this repo I duplicated TG over default llama.cpp.

As request, I use a rpc server with 2x3060s and maybe it will possible to add rpc connections as llama.cpp.

Thanks!

関連リンク

インストール・モデル・リリースへの站内リンク。