La lenteur au premier token (first-token-slow) sur Stratat est presque toujours due à une configuration CPU non optimisée ou à une saturation mémoire lors du chargement initial du modèle. En ajustant les paramètres de déchargement vers le GPU et en vérifiant la bande passante de votre RAM, vous pouvez résoudre ce goulot d'étranglement sans changer de matériel.
Comprendre la latence d'initialisation
Le premier token est le plus lent car il nécessite le préchargement complet du modèle dans la mémoire vive ou vidéo avant que la première opération de calcul ne commence. Si votre système d'exploitation gère mal la mémoire ou si les threads CPU sont mal affinés, ce délai s'allonge considérablement. Stratat utilise le moteur Strata pour gérer ces ressources, mais il dépend de la capacité de votre machine à allouer des blocs mémoire contigus et rapides.
Vérifications techniques
Commencez par ouvrir le tableau de bord Stratat et observez l'utilisation CPU pendant le lancement. Si le CPU atteint 100% immédiatement, réduisez le nombre de couches déchargées. Ensuite, vérifiez que votre RAM n'est pas saturée avant même le lancement du modèle. Une mémoire libre insuffisante force le système à utiliser le fichier d'échange, ce qui tue les performances.
Tableau de diagnostic
| Cause probable | Symptôme observable | Action correctrice immédiate |
|---|---|---|
| CPU surchargé | Utilisation CPU à 100% au lancement | Réduire les couches GPU |
| RAM saturée | Latence > 5 secondes | Fermer les autres apps |
| Swap actif | Disque dur très actif | Augmenter la RAM ou réduire le modèle |
Le premier token est le délai entre l'envoi de votre demande et l'apparition du premier caractère de la réponse sur votre écran.