没有显卡也能跑

纯 CPU 也能跑小量化模型，但只有每秒几个 token，适合批处理、摘要、夜里跑的任务，不适合实时对话。内存至少 32 GB，因为权重加载在内存而不是显存。