场景

第一次回答特别慢

第一次请求要把权重从磁盘读进内存，视硬盘速度可能要几秒到一分钟；之后会复用。如果每次都慢，说明模型在被反复换入换出，也就是内存装不下你选的量化档位。