Usos

Sem VRAM suficiente

Baixe primeiro um nível de quantização: de Q5_K_M para Q4_K_M costuma liberar um terço da memória com perda mínima. Encurtar o contexto também ajuda, pois o cache KV cresce com ele. Só depois considere um modelo menor ou uma segunda placa.