Коллокации
Коллокации – это словосочетания или выражения, которые имеют определенное значение и представляют собой устойчивую комбинацию слов.
Конкорданс
Конкорданс в лингвистике – это инструмент, представляющий собой список всех вхождений слова или фразы в тексте или корпусе текстов, наряду с их контекстом. Этот контекст обычно включает несколько слов или предложений до и после каждого вхождения.
Контекст
Контекст в NLP – это информация, окружающая слово, фразу или текст, которая помогает определить их значение
Корпус
Корпус – собрание текстов, имеющих определенную общность по каким-либо признакам.
Косинусная близость
Косинусная близость — это мера сходства между двумя векторами, которая вычисляется на основе косинуса угла между ними. Она широко используется в различных областях, таких как обработка естественного языка, информационный поиск и рекомендательные системы, для определения степени похожести текстов, документов или других объектов, представленных в векторном виде.
Кросс-энкодер
Кросс-энкодер — архитектура нейронной сети, применяемая в обработке естественного языка (NLP) для задач сравнения пар текстовых входных данных. В отличие от двунаправленных кодировщиков (bi-encoder), кросс-энкодер обрабатывает оба входных текста совместно, пропуская их через модель одновременно, что позволяет модели учитывать тонкие взаимодействия между токенами обоих текстов.
Лемматизация
Лемматизация – это процесс приведения словоформы к ее базовой или словарной форме, называемой леммой. Лемма представляет собой каноническую форму слова, которая обычно является словарной формой или инфинитивом для глаголов.
Матрица
Матрица в контексте информационного поиска — это математическая модель, представляющая в виде таблицы взаимосвязи между поисковыми объектами, чаще всего — терминами (словами) и документами. Эта структура позволяет применять алгоритмы для вычисления релевантности, семантической близости и ранжирования результатов поиска.
Машинное обучение
Машинное обучение, или Machine Learning, это подраздел искусственного интеллекта, который относится к разработке компьютерных моделей, способных самостоятельно обучаться и делать прогнозы или принимать решения, основываясь на опыте или данных.
Мешок слов
Алгоритм “Мешок слов” (BoW) – это один из способов представления текстовой информации в компьютерах. Текст разбивается на слова, а затем подсчитывается количество вхождений каждого слова в тексте.
