Ohne Grafikkarte laufen lassen
Auch ohne GPU laufen die kleineren Quantisierungen — aber mit wenigen Token pro Sekunde. Geeignet für Stapelverarbeitung und Zusammenfassungen, nicht für Chat. Mindestens 32 GB RAM einplanen, denn die Gewichte liegen im Arbeitsspeicher.