Token

Explicação para leigos

Token é uma unidade de texto usada por modelos de linguagem. Pode ser uma palavra pequena, parte de uma palavra, pontuação ou espaço, dependendo do texto.

Exemplo prático

Quando uma ferramenta cobra por uso ou limita o tamanho de uma conversa, normalmente ela está contando tokens, não páginas ou caracteres exatamente.

Erros comuns

• Achar que token é sempre igual a palavra.
• Ignorar que entrada e resposta consomem tokens.
• Esquecer que textos longos podem estourar o limite de contexto.

Termos relacionados

• Janela de Contexto
• Custo por Token
• Modelo de Linguagem