RAKE-NLTK
RAKE-NLTK – это реализация алгоритма RAKE на Python с использованием библиотеки NLTK.
RankBrain
RankBrain является компонентом системы ранжирования Google и основан на технологии машинного обучения. Алгоритм обрабатывает запросы пользователей и пытается понять их смысл, а не просто соотнести слова в запросе с определенными страницами
SimHash
SimHash — это алгоритм, используемый для вычисления хешей похожих данных с целью сравнения текстовых или бинарных объектов по их схожести. Его основная задача — эффективно идентифицировать дубли и нечеткие дубли данных в больших коллекциях (например, страницы на сайте). SimHash применяется в задачах обработки текстов, борьбы с дублирующимся контентом и оптимизации хранения данных.
TextRank
TextRank – это алгоритм, основанный на графах, который используется для ранжирования важности элементов в тексте. Он часто применяется для извлечения ключевых слов, определяя, какие слова являются наиболее важными для передачи смысла текста.
TF-IDF
TF-IDF (Term Frequency-Inverse Document Frequency) – это метрика, используемая при анализе текстов, чтобы определить важность слова в документе или коллекции документов.
word2vec
Word2Vec – это алгоритм, который преобразует слова и фразы в векторы, которые потом можно использовать для глубокого обучения, выявления семантических связей и т.п.
YATI
YATI (Yet Another Transformer with Improvements – “Еще один трансформер с улучшениями”) – алгоритм, который Яндекс представил в 2021 году для улучшения качества поиска.
Анализ текста
Анализ текста – это техника машинного обучения, используемая для автоматического извлечения ценной информации из неструктурированных текстовых данных.
Водность текста
Водность текста – устаревшая синтетическая метрика оценки качества текста, основанная на процентном соотношении слов, не несущих смысловой нагрузки, к объёму полезного контента.
Дистрибутивная семантика
Дистрибутивная семантика — это раздел математической лингвистики, который изучает значение выражений языка через их контекст употребления и распределение по различным контекстам.
