Sem placa de vídeo
Sem GPU as quantizações menores rodam, mas a poucos tokens por segundo. Serve para lotes, resumos e tarefas noturnas, não para conversar. Reserve pelo menos 32 GB de RAM: os pesos ficam na memória, não na VRAM.
Sem GPU as quantizações menores rodam, mas a poucos tokens por segundo. Serve para lotes, resumos e tarefas noturnas, não para conversar. Reserve pelo menos 32 GB de RAM: os pesos ficam na memória, não na VRAM.