Sin tarjeta gráfica
Sin GPU funcionan las cuantizaciones pequeñas, a unos pocos tokens por segundo. Sirve para lotes, resúmenes y trabajos nocturnos, no para conversar. Reserva al menos 32 GB de RAM: los pesos van a memoria, no a VRAM.
Sin GPU funcionan las cuantizaciones pequeñas, a unos pocos tokens por segundo. Sirve para lotes, resúmenes y trabajos nocturnos, no para conversar. Reserva al menos 32 GB de RAM: los pesos van a memoria, no a VRAM.