Énergie

Token (Token (unité de traitement IA))

Définition : Unité de base que traite une IA : un fragment de mot (environ 0,75 mot). L'énergie et le coût d'une requête se comptent en tokens.

En détail

Avant de répondre, un modèle de langage découpe le texte en tokens, des morceaux de mots d'environ 4 caractères (à peu près 0,75 mot). « chat » fait un token, « anticonstitutionnellement » en fait plusieurs. C'est l'unité native des API : la facturation et la mesure d'énergie se font par millions de tokens. L'énergie d'une requête suit le nombre de tokens traités, surtout en sortie : un prompt long ou une réponse longue consomment davantage. Ordre de grandeur : environ 3x10⁻⁴ Wh par token sur un modèle optimisé.

Articles Celsius en lien

Sources officielles