NLP-пайплайн
NLP-пайплайн — это конвейер обработки естественного языка, сфокусированный на выявлении значений, связей и тематической структуры текста, а не на поверхностных признаках (например, частях речи или синтаксисе).
OOV
OOV (Out-of-Vocabulary) – это термин, используемый в обработке естественного языка (NLP) и машинном обучении (ML) для обозначения слов, которые отсутствуют в словаре (вокабуляре) модели.
PAA
Последовательные запросы (PAA) – это последовательность поисковых запросов, которые пользователь выполняет в течение одной сессии, чтобы уточнить или расширить свой поиск. Они представляют собой путь пользователя от первоначального запроса до конечной информационной цели.
QBST
QBST (Query-Based Salient Terms), или “значимые термины на основе запросов”, — это методология анализа, которая выявляет наиболее важные и часто встречающиеся слова, фразы и сущности на страницах, занимающих топовые позиции в поисковой выдаче по конкретному запросу.
RAKE
RAKE (Rapid Automatic Keyword Extraction) – это алгоритм извлечения ключевых слов, который эффективно выявляет ключевые фразы в тексте. В отличие от извлечения отдельных ключевых слов, RAKE фокусируется на многословных фразах, которые часто лучше отражают основную тему текста.
RAKE-NLTK
RAKE-NLTK – это реализация алгоритма RAKE на Python с использованием библиотеки NLTK.
SBERT
SBERT (Sentence BERT) – это модификация архитектуры BERT (Bidirectional Encoder Representations from Transformers), разработанная специально для генерации векторов фиксированной размерности, представляющих смысл целых предложений.
SimHash
SimHash — это алгоритм, используемый для вычисления хешей похожих данных с целью сравнения текстовых или бинарных объектов по их схожести. Его основная задача — эффективно идентифицировать дубли и нечеткие дубли данных в больших коллекциях (например, страницы на сайте). SimHash применяется в задачах обработки текстов, борьбы с дублирующимся контентом и оптимизации хранения данных.
Site2Vec
Site2Vec – мощная техника для изучения латентных представлений веб-сайтов на основе поведения пользователей.
TextRank
TextRank – это алгоритм, основанный на графах, который используется для ранжирования важности элементов в тексте. Он часто применяется для извлечения ключевых слов, определяя, какие слова являются наиболее важными для передачи смысла текста.
