Gensim
Gensim – это библиотека для анализа текстов и моделирования тем на языке программирования Python. Основная цель Gensim – работа с большими корпусами текста и разработка простых и эффективных алгоритмов для обработки и моделирования текстовых данных.
LSA
LSA (Latent Semantic Analysis) – это метод обработки и анализа текстовых данных, который помогает выявить скрытые семантические связи между словами. Иными словами, LSA – это способ понять, какие слова в тексте связаны между собой по смыслу.
NLTK
Natural Language Toolkit (NLTK) — библиотека для обработки естественного языка (NLP) на языке программирования Python.
Токенизация
Токенизация в NLP – это процесс разбиения необработанного текста на естественном языке на отдельные части, называемые “токенами”. Токены сопоставляются с числами и могут быть обработаны средствами NLP.