NLP
NLP (обработка естественного языка) – это технология машинного обучения, которая дает компьютерам возможность интерпретировать, обрабатывать и понимать человеческий язык.
NLP-пайплайн
NLP-пайплайн — это конвейер обработки естественного языка, сфокусированный на выявлении значений, связей и тематической структуры текста, а не на поверхностных признаках (например, частях речи или синтаксисе).
NLTK
Natural Language Toolkit (NLTK) — библиотека для обработки естественного языка (NLP) на языке программирования Python.
OOV
OOV (Out-of-Vocabulary) – это термин, используемый в обработке естественного языка (NLP) и машинном обучении (ML) для обозначения слов, которые отсутствуют в словаре (вокабуляре) модели.
Query Fan-out
Query Fan-out — это метод «разветвления запросов», когда одновременно выполняется несколько связанных поисковых запросов по подтемам и различным источникам данных, а затем результаты объединяются для предоставления простого и понятного ответа.
RAG
RAG (Retrieval Augmented Generation) – поисковая дополненная генерация, ипользующая дополнительную базу данных как дополнение к большой языковой модели (LLM) для повышения точности ответов, устранения галлюцинаций и увеличения производительности.
RAKE
RAKE (Rapid Automatic Keyword Extraction) – это алгоритм извлечения ключевых слов, который эффективно выявляет ключевые фразы в тексте. В отличие от извлечения отдельных ключевых слов, RAKE фокусируется на многословных фразах, которые часто лучше отражают основную тему текста.
RAKE-NLTK
RAKE-NLTK – это реализация алгоритма RAKE на Python с использованием библиотеки NLTK.
SBERT
SBERT (Sentence BERT) – это модификация архитектуры BERT (Bidirectional Encoder Representations from Transformers), разработанная специально для генерации векторов фиксированной размерности, представляющих смысл целых предложений.
ScaNN
ScaNN – алгоритм Google, основанный на поиске по сходству векторов. В основе его лежит преобразование входных данных в многомерные векторы, эмбеддинги, благодаря которым для пользовательского запроса можно найти наиболее близкие эмбединги в базе данных.
