Longueur de contexte et VRAM
Les poids ne sont que la moitié : le cache KV croît avec le contexte et peut égaler le modèle à 128k. En cas d'OOM après un long collage, réduisez d'abord le contexte, pas la quantification.
Les poids ne sont que la moitié : le cache KV croît avec le contexte et peut égaler le modèle à 128k. En cas d'OOM après un long collage, réduisez d'abord le contexte, pas la quantification.