Коэффициент силуэта

Коэффициент силуэта (Silhouette Coefficient) — это метрика, используемая для оценки качества кластеризации данных. Он показывает, насколько хорошо каждый объект в кластере похож на объекты в своем собственном кластере по сравнению с объектами в других кластерах.

Описание

Значение коэффициента силуэта варьируется от -1 до 1.

• Значение, близкое к 1, указывает на то, что объект хорошо согласуется со своим собственным кластером и плохо согласуется с другими кластерами.
• Значение, близкое к 0, означает, что объект находится на границе между двумя кластерами.
• Значение, близкое к -1, предполагает, что объект, скорее всего, был отнесен к неправильному кластеру.

Расчет коэффициента силуэта

Для каждого объекта i в наборе данных рассчитываются две величины:

• Среднее расстояние до всех остальных объектов в том же кластере (обозначим как $a(i)$).
• Среднее расстояние до всех объектов в ближайшем соседнем кластере (обозначим как $b(i)$).

Коэффициент силуэта для объекта i определяется следующим образом:

Общий коэффициент силуэта для кластеризации представляет собой среднее значение коэффициентов силуэта всех объектов.

Использование

Коэффициент силуэта может быть использован для:

• Оценки качества различных алгоритмов кластеризации. Можно сравнивать коэффициенты силуэта, полученные при использовании разных алгоритмов, чтобы определить, какой из них дает наилучшее разделение данных.
• Определения оптимального числа кластеров. Можно запускать алгоритм кластеризации с разным количеством кластеров и выбирать то количество, которое дает наибольшее значение коэффициента силуэта.

Преимущества

• Простота интерпретации. Значение коэффициента силуэта легко понять и использовать для сравнения качества кластеризации.
• Универсальность. Коэффициент силуэта может быть использован для оценки качества кластеризации данных с любым количеством признаков и кластеров.

Недостатки

• Чувствительность к форме кластеров. Коэффициент силуэта может давать неточные результаты для кластеров, имеющих сложную форму или сильно различающихся размеров.
• Вычислительная сложность. Расчет коэффициента силуэта может быть ресурсоемким для больших наборов данных.

Пример использования коэффициента силуэта средствами Python

import numpy as np
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score
from sklearn.datasets import make_blobs
import matplotlib.pyplot as plt

# Генерируем синтетические данные для кластеризации
n_samples = 300
n_features = 2
n_clusters = 3
random_state = 42

X, y = make_blobs(n_samples=n_samples, 
                  n_features=n_features, 
                  centers=n_clusters,
                  random_state=random_state)

# Функция для визуализации кластеров и значений силуэта
def plot_silhouette(X, y, cluster_labels):
    silhouette_avg = silhouette_score(X, cluster_labels)
    sample_silhouette_values = silhouette_samples(X, cluster_labels)

    fig, ax1 = plt.subplots(1, 1)
    fig.set_size_inches(8, 6)

    y_lower = 10

    for i in range(n_clusters):
        ith_cluster_silhouette_values = sample_silhouette_values[cluster_labels == i]
        ith_cluster_silhouette_values.sort()

        size_cluster_i = ith_cluster_silhouette_values.shape[0]
        y_upper = y_lower + size_cluster_i

        color = plt.cm.nipy_spectral(float(i) / n_clusters)
        ax1.fill_betweenx(np.arange(y_lower, y_upper),
                          0, ith_cluster_silhouette_values,
                          facecolor=color, edgecolor=color, alpha=0.7)

        ax1.text(-0.05, y_lower + 0.5 * size_cluster_i, str(i))

        y_lower = y_upper + 10

    ax1.axvline(x=silhouette_avg, color="red", linestyle="--")
    ax1.set_yticks([])  
    ax1.set_xlabel("Значения силуэта")
    ax1.set_ylabel("Номер кластера")
    ax1.set_title("График силуэта для кластеризации")

    plt.show()

# Применяем алгоритм кластеризации KMeans 
kmeans = KMeans(n_clusters=n_clusters, random_state=random_state)
cluster_labels = kmeans.fit_predict(X)

# Вычисляем и выводим коэффициент силуэта
silhouette_avg = silhouette_score(X, cluster_labels)
print(f"Средний коэффициент силуэта: {silhouette_avg}")

# Визуализируем кластеры и значения силуэта
plot_silhouette(X, y, cluster_labels)

Описание кода

1. Импорт библиотек: импортируем необходимые библиотеки, включая numpy, sklearn (для кластеризации KMeans и метрики силуэта), matplotlib (для визуализации).
2. Генерация данных: создаем синтетические данные с помощью функции make_blobs для демонстрации работы кода.
3. Функция plot_silhouette:
   • Принимает на вход данные (X), истинные метки (y) и метки кластеров (cluster_labels).
   • Вычисляет и отображает средний коэффициент силуэта и график силуэта для каждого кластера.
4. Кластеризация KMeans:
   • Создаем экземпляр модели KMeans с заданным количеством кластеров.
   • Обучаем модель на данных и получаем метки кластеров.
5. Вывод результата:
   • Вычисляем и выводим средний коэффициент силуэта с помощью silhouette_score.
   • Вызываем функцию plot_silhouette для визуализации результатов.

График силуэта

График силуэта показывает, насколько хорошо каждый объект в кластере соответствует своему кластеру по сравнению с другими кластерами.

• Каждый объект представлен линией на графике.
• Длина линии пропорциональна значению силуэта объекта (от -1 до 1).
• Объекты с более высокими значениями силуэта (ближе к 1) хорошо кластеризованы.
• Объекты с низкими значениями силуэта (ближе к -1) могут быть отнесены к неправильному кластеру.

Этот код демонстрирует базовый пример использования коэффициента силуэта. В реальных задачах важно экспериментировать с различными алгоритмами кластеризации и параметрами, чтобы найти наилучшее решение для конкретного набора данных.

Связанные термины

• t-SNE
• BERTopic
• Core Web Vitals
• DR
• Gensim