使い方
まず Q4_K_M から。サイズと品質のバランスが良く、多くの報告もこれを使っています。余裕があり、自分のタスクで差を測れる場合だけ Q5/Q6 に上げてください。Q4 未満はコードや長い推論で劣化が目立ちます。