Conclusion rapide

Stratat permet de servir plusieurs utilisateurs en local en gérant la file d'attente des requêtes et en allouant la mémoire VRAM de manière séquentielle. Cette approche garantit que chaque utilisateur reçoit une réponse complète sans bloquer le système pour les autres.

Pourquoi c'est nécessaire

Lorsque vous tournez des modèles volumineux sur votre propre matériel, la bande passante mémoire est souvent le goulot d'étranglement principal. Servir plusieurs utilisateurs simultanément nécessite une gestion stricte des ressources pour éviter les erreurs d'out-of-memory. Stratat résout ce problème en ordonnant les tâches.

Comment le configurer

Pour mettre en place ce service, vous devez lancer le client Stratat avec les paramètres de concurrence appropriés. Vérifiez d'abord la quantité de VRAM disponible sur votre carte graphique. Ensuite, ajustez le nombre de workers pour qu'il corresponde à la capacité de votre GPU. Si vous observez des ralentissements, réduisez le nombre d'utilisateurs simultanés. Le système vous indiquera si la charge est trop élevée pour votre configuration actuelle.

Coût et efficacité

L'exécution locale élimine les coûts API. Avec un prix de l'électricité de 0,25 €/kWh, le coût marginal par requête est négligeable. Voici une estimation basée sur les capacités standards de traitement local :

ConfigurationUtilisation VRAMCoût estimé (par heure)
Modèle 7B6 GB0,05 €
Modèle 13B10 GB0,08 €
Modèle 70B40 GB0,20 €

Ces chiffres dépendent de l'efficacité énergétique de votre matériel spécifique.

Terminologie

La gestion de la file d'attente consiste à organiser les requêtes entrantes pour qu'elles soient traitées une par une ou par petits groupes, assurant ainsi la stabilité du serveur local.