Nos marques
Technique · Concept

Token

Un token est l'unité de base que manipule un modèle de langage : un fragment de mot, un mot ou un signe.

Un token est le morceau élémentaire de texte qu'un modèle traite. Selon la langue, un token peut être un mot court, une partie de mot ou un caractère de ponctuation.

Les modèles découpent le texte en tokens avant de le traiter, et leur capacité se mesure en nombre de tokens de contexte.

La facturation des API d'IA se fait généralement au nombre de tokens consommés, en entrée comme en sortie.

Envie de passer de la théorie à la pratique ?

Nos experts déploient ces concepts dans des solutions concrètes pour votre entreprise.