Nuestras marcas
Técnica · Concept

Token

Un token es la unidad básica que maneja un modelo de lenguaje: un fragmento de palabra, una palabra o un signo.

Un token es la porción elemental de texto que un modelo procesa. Según el idioma, un token puede ser una palabra corta, una parte de palabra o un signo de puntuación.

Los modelos dividen el texto en tokens antes de procesarlo, y su capacidad se mide en número de tokens de contexto.

La facturación de las API de IA suele realizarse por número de tokens consumidos, tanto de entrada como de salida.

Envie de passer de la théorie à la pratique ?

Nos experts déploient ces concepts dans des solutions concrètes pour votre entreprise.