La lenteur au premier token (first-token-slow) sur Stratat est presque toujours due à une configuration CPU non optimisée ou à une saturation mémoire lors du chargement initial du modèle. En ajustant les paramètres de déchargement vers le GPU et en vérifiant la bande passante de votre RAM, vous pouvez résoudre ce goulot d'étranglement sans changer de matériel.

Comprendre la latence d'initialisation

Le premier token est le plus lent car il nécessite le préchargement complet du modèle dans la mémoire vive ou vidéo avant que la première opération de calcul ne commence. Si votre système d'exploitation gère mal la mémoire ou si les threads CPU sont mal affinés, ce délai s'allonge considérablement. Stratat utilise le moteur Strata pour gérer ces ressources, mais il dépend de la capacité de votre machine à allouer des blocs mémoire contigus et rapides.

Vérifications techniques

Commencez par ouvrir le tableau de bord Stratat et observez l'utilisation CPU pendant le lancement. Si le CPU atteint 100% immédiatement, réduisez le nombre de couches déchargées. Ensuite, vérifiez que votre RAM n'est pas saturée avant même le lancement du modèle. Une mémoire libre insuffisante force le système à utiliser le fichier d'échange, ce qui tue les performances.

Tableau de diagnostic

Cause probableSymptôme observableAction correctrice immédiate
CPU surchargéUtilisation CPU à 100% au lancementRéduire les couches GPU
RAM saturéeLatence > 5 secondesFermer les autres apps
Swap actifDisque dur très actifAugmenter la RAM ou réduire le modèle

Le premier token est le délai entre l'envoi de votre demande et l'apparition du premier caractère de la réponse sur votre écran.