Token
Unite de base du texte traitee par un modele de langage, correspondant a environ 3/4 d'un mot.
Un token est l'unite de base que les modeles de langage utilisent pour traiter le texte. Un token peut etre un mot entier, une partie de mot, un caractere de ponctuation ou meme un espace.
En moyenne, 1 token correspond a environ 0.75 mot en anglais (un peu moins en francais). Par exemple :
- • "Bonjour" = 1 token
- • "intelligence artificielle" = 2-3 tokens
- • Un article de 1000 mots ≈ 1300-1500 tokens
Les tokens sont importants car :
- • Les modeles ont une fenetre de contexte limitee en tokens (ex : 1M tokens pour GPT-5.4)
- • La tarification des API est basee sur le nombre de tokens traites
- • La vitesse de generation depend du nombre de tokens produits
Comprendre les tokens aide a optimiser ses couts et a mieux utiliser les modeles d'IA.