Kontextlänge und VRAM
Die Gewichte sind nur die Hälfte: Der KV-Cache wächst mit Kontext und Batch-Größe und kann bei 128k so groß werden wie das Modell. Bei OOM nach langem Einfügen zuerst den Kontext senken, dann die Quantisierung.
Die Gewichte sind nur die Hälfte: Der KV-Cache wächst mit Kontext und Batch-Größe und kann bei 128k so groß werden wie das Modell. Bei OOM nach langem Einfügen zuerst den Kontext senken, dann die Quantisierung.