L'erreur cuda-out-of-memory (OOM) sur Stratat signifie que votre carte graphique n'a plus de mémoire vidéo disponible pour charger le modèle. La solution immédiate consiste à réduire la taille du contexte ou à diminuer la précision du modèle dans les paramètres du client Stratat.
Comprendre la cause racine
Le moteur Strata charge les poids du modèle en mémoire VRAM. Si la somme des poids plus les calculs intermédiaires dépasse la capacité de votre GPU, le processus plante. C'est une limitation physique, pas un bug logiciel. Vous devez ajuster la charge pour qu'elle corresponde à votre matériel.
Comment mesurer et corriger
Ouvrez le moniteur de ressources de Stratat. Notez la VRAM utilisée. Ensuite, réduisez les paramètres de `context_size` dans les options de chargement. Si cela ne suffit pas, passez à une version quantifiée (ex: Q4_0 au lieu de Q8_0). Vérifiez que aucun autre programme lourd n'utilise le GPU (navigateur avec beaucoup d'onglets, jeu, etc.).
Comparaison des configurations
| Configuration | VRAM Estimée | Stabilité Stratat |
|---|---|---|
| Modèle 7B (Q4) | ~5 GB | Stable |
| Modèle 13B (Q4) | ~8 GB | Stable |
| Modèle 13B (Q8) | ~16 GB | Échec fréquent |
Définition technique
La VRAM est la mémoire dédiée au processeur graphique qui stocke les données nécessaires aux calculs d'intelligence artificielle en temps réel.