Токен — это единица текста, которая намеренно сегментирована для эффективной обработки большой языковой моделью. Этими единицами могут быть слова, части слов, словосочетания или знаки пунктуации.