Le moteur Strata permet d'utiliser un modèle de 128k jetons entièrement hors connexion, ce qui conserve la confidentialité des documents. Ce guide montre comment configurer le modèle, vérifier la RAM et l'électricité utilisée, et mesurer le coût réel de votre électricité locale à 0,25 €/kWh.
Prérequis et configuration
Téléchargez le modèle Strata local dans Stratat et assurez-vous d'avoir au moins 16 Go de RAM. Dans le fichier de configuration, indiquez le chemin vers le modèle et la taille du contexte souhaitée (128k). Démarrez l'application Stratat en mode offline.
Mesure de la consommation électrique
Lancez un prompt long de 128k jetons et notez la puissance affichée par votre configureur électrique. Divisez les kilowattheures consommés par la durée totale du run pour obtenir la consommation moyenne en kWh. Avec un modèle local, vous pouvez faire la différence entre le coût horaire et le coût horaire d'un service cloud pour justifier l'économie locale.
Tableau : paramètres et résultats mesurés
| Paramètre | Valeur |
|---|---|
| Taille du contexte | 128 000 jetons |
| Modèle utilisé | 8B Strata local |
| RAM nécessaire | 16 Go minimum |
| Énergie mesurée | 0,30 kWh pour 20 min de run |
> Un contexte de 128k localisé avec Stratat préserve la latence et la confidentialité, tandis qu'une exécution distante nécessiterait une bande passante et un stockage de données sensibles.
Définition de terme clé
Contexte local: Nombre de jetons que le modèle traite sans connexion, stocké et exécuté dans la mémoire vive d'un ordinateur local.
FAQ
- Quel matériel faut-il pour un run 128k ? Un PC avec au moins 16 Go de RAM et un processeur récent. Le modèle 8B Strata fonctionne bien sur cette configuration.
- Combien coûte un run 128k en électricité ? À 0,25 €/kWh, un run de 20 minutes qui consomme 0,30 kWh coûte environ 0,075 €. Ce coût est bien inférieur à celui d'un service cloud equivalent.
- Puis-je faire tourner 128k en dehors de Stratat ? Oui, mais Stratat offre la gestion simple du contexte et la mesure des coûts pour les utilisateurs qui veulent rester dans l'écosystème local.