Longitud de contexto y VRAM
Los pesos son solo la mitad: la caché KV crece con el contexto y a 128k puede igualar al modelo. Si hay OOM tras pegar mucho texto, baja el contexto antes que la cuantización.
Los pesos son solo la mitad: la caché KV crece con el contexto y a 128k puede igualar al modelo. Si hay OOM tras pegar mucho texto, baja el contexto antes que la cuantización.