BERTopic
BERTopic – это современный алгоритм тематического моделирования, который использует мощь BERT-подобных моделей для извлечения тем из текстовых данных.
c-TF-IDF
c-TF-IDF – алгоритм взвешивания терминов (разновидность TF-IDF), адаптированный для работы с кластеризованными документами.
DBpedia
DBpedia – это важный инструмент для преобразования огромного массива информации из Википедии в формат, понятный и доступный для компьютеров.
DSSM
DSSM (Deep Structured Semantic Model) — это технология глубокого обучения, предложенная Microsoft Research в 2013 году. Она решает одну конкретную задачу: научить машину понимать смысл поискового запроса и содержимого страницы, а не просто сопоставлять слова.
FAISS
FAISS (Facebook AI Similarity Search) – это библиотека, разработанная Facebook AI Research, предназначенная для эффективного поиска ближайших соседей (nearest neighbor search) и кластеризации векторов в больших наборах данных
HDBSCAN
HDBSCAN – это мощный алгоритм кластеризации, который основан на идее о том, что кластеры – это области высокой плотности, разделенные областями низкой плотности.
HNSW
HNSW (Hierarchical Navigable Small World) — это алгоритм для приближённого поиска ближайших соседей (ANN). Простыми словами, он помогает очень быстро находить похожие векторы среди миллионов или миллиардов других, жертвуя лишь малой долей точности.
Hugging Face
Hugging Face — это платформа и сообщество, предоставляющее инструменты и ресурсы для работы с обработкой естественного языка (NLP), включая обширную библиотеку предобученных моделей, наборы данных и удобный API
LSI
LSI (Latent Semantic Indexing) – это метод анализа и индексирования текста, используемый для определения семантической связи между словами и понятиями в текстовых документах.
mT5
mT5 (Multilingual T5) – это многоязычная версия модели T5 от Google. Она обучена на огромном корпусе Common Crawl, содержащем 101 язык, включая русский, английский, немецкий, французский, испанский, китайский и др.
