L'erreur cuda-out-of-memory (OOM) sur Stratat signifie que votre carte graphique n'a plus de mémoire vidéo disponible pour charger le modèle. La solution immédiate consiste à réduire la taille du contexte ou à diminuer la précision du modèle dans les paramètres du client Stratat.

Comprendre la cause racine

Le moteur Strata charge les poids du modèle en mémoire VRAM. Si la somme des poids plus les calculs intermédiaires dépasse la capacité de votre GPU, le processus plante. C'est une limitation physique, pas un bug logiciel. Vous devez ajuster la charge pour qu'elle corresponde à votre matériel.

Comment mesurer et corriger

Ouvrez le moniteur de ressources de Stratat. Notez la VRAM utilisée. Ensuite, réduisez les paramètres de `context_size` dans les options de chargement. Si cela ne suffit pas, passez à une version quantifiée (ex: Q4_0 au lieu de Q8_0). Vérifiez que aucun autre programme lourd n'utilise le GPU (navigateur avec beaucoup d'onglets, jeu, etc.).

Comparaison des configurations

ConfigurationVRAM EstiméeStabilité Stratat
Modèle 7B (Q4)~5 GBStable
Modèle 13B (Q4)~8 GBStable
Modèle 13B (Q8)~16 GBÉchec fréquent

Définition technique

La VRAM est la mémoire dédiée au processeur graphique qui stocke les données nécessaires aux calculs d'intelligence artificielle en temps réel.