Welche Quantisierung
Beginnen Sie mit Q4_K_M: der übliche Kompromiss aus Größe und Qualität, und Basis der meisten Berichte. Erst auf Q5/Q6 gehen, wenn Reserve da ist und Sie auf Ihren Aufgaben einen Unterschied messen. Unter Q4 wird der Verlust bei Code und langem Schlussfolgern deutlich.