BM-25
BM-25 (Best Matching 25) – это алгоритм оценки и ранжирования релевантности документов в поисковых системах. Он был разработан Джо Баярдом и Трэвисом Хьюзом в 1994 году для улучшения алгоритма BM-11.
Gensim
Gensim – это библиотека для анализа текстов и моделирования тем на языке программирования Python. Основная цель Gensim – работа с большими корпусами текста и разработка простых и эффективных алгоритмов для обработки и моделирования текстовых данных.
IRI
IRI – стандарт интернет-протокола , который основан на протоколе унифицированного идентификатора ресурса (URI) и значительно расширяет набор разрешенных символов благодаря использованию не US-ASCII, а большинство символов из универсального набора символов (Unicode/ISO 10646 ), включая китайские, японские, корейские и кириллические символы.
LDA
LDA (Latent Dirichlet Allocation) – это один из наиболее популярных алгоритмов тематического моделирования, широко используемый в задачах информационного поиска и анализа текстов.
LSA
LSA (Latent Semantic Analysis) – это метод обработки и анализа текстовых данных, который помогает выявить скрытые семантические связи между словами. Иными словами, LSA – это способ понять, какие слова в тексте связаны между собой по смыслу.
n-грамма
N-грамма – это последовательность из N слов в тексте. N может быть любым числом, и означает количество слов, которые объединяются вместе.
NLTK
Natural Language Toolkit (NLTK) — библиотека для обработки естественного языка (NLP) на языке программирования Python.
ScaNN
ScaNN – алгоритм Google, основанный на поиске по сходству векторов. В основе его лежит преобразование входных данных в многомерные векторы, эмбеддинги, благодаря которым для пользовательского запроса можно найти наиболее близкие эмбединги в базе данных.
Домен знаний
Домены знаний – это способ организации информации, при котором знания разделены на конкретные области или темы. Каждый домен знаний содержит информацию, связанную с определенной областью знаний.
