Quel quantization choisir
Commencez par Q4_K_M : le compromis habituel entre taille et qualité, utilisé par la plupart des retours. Montez en Q5/Q6 seulement avec de la marge et si vous mesurez une différence sur vos tâches. Sous Q4, la perte devient visible en code et en raisonnement long.