10 種頂流聚類算法 Python 實現

來源：海豚數據科學實驗室機器學習雜貨店

聚類或聚類分析是無監督學習的經典問題。它通常被用作數據分析技術，用於發現數據中的有趣模式，例如基於其行爲的客戶羣。

有許多聚類算法可供選擇，對於所有情況，沒有單一的最佳聚類算法。

相反，最好探索一系列聚類算法以及每種算法的不同配置。在本教程中，你將發現如何在 Python 中安裝和使用頂級聚類算法。完成本教程後，你將知道：

聚類是在輸入數據的特徵空間中查找自然組的無監督問題，
對於所有數據集，有許多不同的聚類算法和單一的最佳方法，
在 scikit-learn 機器學習庫的 Python 中如何實現、適配和使用頂級聚類算法。

**文章內容
**

本教程分爲三部分：

聚類
聚類算法
聚類算法示例

庫安裝；
聚類數據集；
親和力傳播；
聚合聚類；
BIRCH；
DBSCAN；
K - 均值；
Mini-Batch K - 均值；
Mean Shift；
OPTICS；
光譜聚類；
高斯混合模型。

什麼是聚類

聚類分析，即聚類，是一項無監督的機器學習任務。它包括自動發現數據中的自然分組。與監督學習（類似預測建模）不同，聚類算法只解釋輸入數據，並在特徵空間中找到自然組或羣集。

聚類技術適用於沒有要預測的類，而是將實例劃分爲自然組的情況。

—源自：《數據挖掘頁：實用機器學習工具和技術》2016 年。

羣集通常是特徵空間中的密度區域，其中來自域的示例（觀測或數據行）比其他羣集更接近羣集。羣集可以具有作爲樣本或點特徵空間的中心 (質心)，並且可以具有邊界或範圍。

這些羣集可能反映出在從中繪製實例的域中工作的某種機制，這種機制使某些實例彼此具有比它們與其餘實例更強的相似性。

—源自：《數據挖掘頁：實用機器學習工具和技術》2016 年。

聚類可以作爲數據分析活動提供幫助，以便了解更多關於問題域的信息，即所謂的模式發現或知識發現。例如：

該進化樹可以被認爲是人工聚類分析的結果；
將正常數據與異常值或異常分開可能會被認爲是聚類問題；
根據自然行爲將集羣分開是一個集羣問題，稱爲市場細分。

聚類還可用作特徵工程的類型，其中現有的和新的示例可被映射並標記爲屬於數據中所標識的羣集之一。雖然確實存在許多特定於羣集的定量措施，但是對所識別的羣集的評估是主觀的，並且可能需要領域專家。通常，聚類算法在人工合成數據集上與預先定義的羣集進行學術比較，預計算法會發現這些羣集。

聚類是一種無監督學習技術，因此很難評估任何給定方法的輸出質量。

—源自：《機器學習頁：概率觀點》2012。

聚類算法

有許多類型的聚類算法。許多算法在特徵空間中的示例之間使用相似度或距離度量，以發現密集的觀測區域。因此，在使用聚類算法之前，擴展數據通常是良好的實踐。

聚類分析的所有目標的核心是被羣集的各個對象之間的相似程度（或不同程度）的概念。聚類方法嘗試根據提供給對象的相似性定義對對象進行分組。

—源自：《統計學習的要素：數據挖掘、推理和預測》，2016 年

一些聚類算法要求您指定或猜測數據中要發現的羣集的數量，而另一些算法要求指定觀測之間的最小距離，其中示例可以被視爲 “關閉” 或“連接”。因此，聚類分析是一個迭代過程，在該過程中，對所識別的羣集的主觀評估被反饋回算法配置的改變中，直到達到期望的或適當的結果。scikit-learn 庫提供了一套不同的聚類算法供選擇。下面列出了 10 種比較流行的算法：

親和力傳播；
聚合聚類；
BIRCH；
DBSCAN；
K - 均值；
Mini-Batch K - 均值；
Mean Shift；
OPTICS；
光譜聚類；
高斯混合。

每個算法都提供了一種不同的方法來應對數據中發現自然組的挑戰。沒有最好的聚類算法，也沒有簡單的方法來找到最好的算法爲您的數據沒有使用控制實驗。在本教程中，我們將回顧如何使用來自 scikit-learn 庫的這 10 個流行的聚類算法中的每一個。這些示例將爲您複製粘貼示例並在自己的數據上測試方法提供基礎。我們不會深入研究算法如何工作的理論，也不會直接比較它們。讓我們深入研究一下。

聚類算法示例

在本節中，我們將回顧如何在 scikit-learn 中使用 10 個流行的聚類算法。這包括一個擬合模型的例子和可視化結果的例子。這些示例用於將粘貼複製到您自己的項目中，並將方法應用於您自己的數據。

1. 庫安裝

首先，讓我們安裝庫。不要跳過此步驟，因爲你需要確保安裝了最新版本。你可以使用 pip Python 安裝程序安裝 scikit-learn 存儲庫，如下所示：

sudo pip install scikit-learn

接下來，讓我們確認已經安裝了庫，並且您正在使用一個現代版本。運行以下腳本以輸出庫版本號。

# 檢查 scikit-learn 版本
import sklearn
print(sklearn.__version__)

運行該示例時，您應該看到以下版本號或更高版本。

0.22.1

2. 聚類數據集

我們將使用 make _ classification () 函數創建一個測試二分類數據集。數據集將有 1000 個示例，每個類有兩個輸入要素和一個羣集。這些羣集在兩個維度上是可見的，因此我們可以用散點圖繪製數據，並通過指定的羣集對圖中的點進行顏色繪製。

這將有助於瞭解，至少在測試問題上，羣集的識別能力如何。該測試問題中的羣集基於多變量高斯，並非所有聚類算法都能有效地識別這些類型的羣集。因此，本教程中的結果不應用作比較一般方法的基礎。下面列出了創建和彙總合成聚類數據集的示例。

# 綜合分類數據集
from numpy import where
from sklearn.datasets import make_classification
from matplotlib import pyplot
# 定義數據集
X, y = make_classification(
      n_samples=1000, 
      n_features=2, 
      n_informative=2, 
      n_redundant=0, 
      n_clusters_per_class=1, 
      random_state=4)
# 爲每個類的樣本創建散點圖
for class_value in range(2):
  # 獲取此類的示例的行索引
  row_ix = where(y == class_value)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例將創建合成的聚類數據集，然後創建輸入數據的散點圖，其中點由類標籤（理想化的羣集）着色。我們可以清楚地看到兩個不同的數據組在兩個維度，並希望一個自動的聚類算法可以檢測這些分組。

已知聚類着色點的合成聚類數據集的散點圖

接下來，我們可以開始查看應用於此數據集的聚類算法的示例。我已經做了一些最小的嘗試來調整每個方法到數據集。

3. 親和力傳播

親和力傳播包括找到一組最能概括數據的範例。

我們設計了一種名爲 “親和傳播” 的方法，它作爲兩對數據點之間相似度的輸入度量。在數據點之間交換實值消息，直到一組高質量的範例和相應的羣集逐漸出現

—源自：《通過在數據點之間傳遞消息》2007。

它是通過 AffinityPropagation 類實現的，要調整的主要配置是將 “阻尼” 設置爲 0.5 到 1，甚至可能是“首選項”。

下面列出了完整的示例。

# 親和力傳播聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import AffinityPropagation
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
    n_samples=1000, 
    n_features=2, 
    n_informative=2, 
    n_redundant=0, 
    n_clusters_per_class=1, 
    random_state=4)
# 定義模型
model = AffinityPropagation(damping=0.9)
# 匹配模型
model.fit(X)
# 爲每個示例分配一個集羣
yhat = model.predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，我無法取得良好的結果。

數據集的散點圖，具有使用親和力傳播識別的聚類

4. 聚合聚類

聚合聚類涉及合併示例，直到達到所需的羣集數量爲止。它是層次聚類方法的更廣泛類的一部分，通過 AgglomerationClustering 類實現的，主要配置是 “n _ clusters” 集，這是對數據中的羣集數量的估計，例如 2。下面列出了完整的示例。

# 聚合聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import AgglomerativeClustering
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2, 
    n_informative=2,
    n_redundant=0, 
    n_clusters_per_class=1,
    random_state=4)
# 定義模型
model = AgglomerativeClustering(n_clusters=2)
# 模型擬合與聚類預測
yhat = model.fit_predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，可以找到一個合理的分組。

使用聚集聚類識別出具有聚類的數據集的散點圖

5.BIRCH

BIRCH 聚類（ BIRCH 是平衡迭代減少的縮寫，聚類使用層次結構) 包括構造一個樹狀結構，從中提取聚類質心。

BIRCH 遞增地和動態地羣集傳入的多維度量數據點，以嘗試利用可用資源（即可用內存和時間約束）產生最佳質量的聚類。

—源自：《 BIRCH ：1996 年大型數據庫的高效數據聚類方法》

它是通過 Birch 類實現的，主要配置是 “threshold” 和“ n _ clusters ”超參數，後者提供了羣集數量的估計。下面列出了完整的示例。

# birch聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import Birch
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2, 
    n_informative=2, 
    n_redundant=0, 
    n_clusters_per_class=1, 
    random_state=4)
# 定義模型
model = Birch(threshold=0.01, n_clusters=2)
# 適配模型
model.fit(X)
# 爲每個示例分配一個集羣
yhat = model.predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散點圖
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，可以找到一個很好的分組。

使用 BIRCH 聚類確定具有聚類的數據集的散點圖

6.DBSCAN

DBSCAN 聚類（其中 DBSCAN 是基於密度的空間聚類的噪聲應用程序）涉及在域中尋找高密度區域，並將其周圍的特徵空間區域擴展爲羣集。

… 我們提出了新的聚類算法 DBSCAN 依賴於基於密度的概念的集羣設計，以發現任意形狀的集羣。DBSCAN 只需要一個輸入參數，並支持用戶爲其確定適當的值

---- 源自：《基於密度的噪聲大空間數據庫聚類發現算法》，1996

它是通過 DBSCAN 類實現的，主要配置是 “eps” 和“ min _ samples ”超參數。

下面列出了完整的示例。

# dbscan 聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import DBSCAN
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2, 
    n_informative=2, 
    n_redundant=0, 
    n_clusters_per_class=1, 
    random_state=4)
# 定義模型
model = DBSCAN(eps=0.30, min_samples=9)
# 模型擬合與聚類預測
yhat = model.fit_predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散點圖
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，儘管需要更多的調整，但是找到了合理的分組。

使用 DBSCAN 集羣識別出具有集羣的數據集的散點圖

7.K 均值

K - 均值聚類可以是最常見的聚類算法，並涉及向羣集分配示例，以儘量減少每個羣集內的方差。

本文的主要目的是描述一種基於樣本將 N 維種羣劃分爲 k 個集合的過程。這個叫做 “K - 均值” 的過程似乎給出了在類內方差意義上相當有效的分區。

--- 源自：《關於多元觀測的分類和分析的一些方法》1967 年。

它是通過 K - 均值類實現的，要優化的主要配置是 “n _ clusters” 超參數設置爲數據中估計的羣集數量。下面列出了完整的示例。

# k-means 聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import KMeans
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2, 
    n_informative=2, 
    n_redundant=0,
    n_clusters_per_class=1,
    random_state=4)
# 定義模型
model = KMeans(n_clusters=2)
# 模型擬合
model.fit(X)
# 爲每個示例分配一個集羣
yhat = model.predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，可以找到一個合理的分組，儘管每個維度中的不等等方差使得該方法不太適合該數據集。

使用 K 均值聚類識別出具有聚類的數據集的散點圖

8.Mini-Batch K - 均值

Mini-Batch K - 均值是 K - 均值的修改版本，它使用小批量的樣本而不是整個數據集對羣集質心進行更新，這可以使大數據集的更新速度更快，並且可能對統計噪聲更健壯。

... 我們建議使用 k - 均值聚類的迷你批量優化。與經典批處理算法相比，這降低了計算成本的數量級，同時提供了比在線隨機梯度下降更好的解決方案。

—源自：《Web-Scale K - 均值聚類》2010

它是通過 MiniBatchKMeans 類實現的，要優化的主配置是 “n _ clusters” 超參數，設置爲數據中估計的羣集數量。下面列出了完整的示例。

# mini-batch k均值聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import MiniBatchKMeans
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000,
    n_features=2,
    n_informative=2,
    n_redundant=0,
    n_clusters_per_class=1,
    random_state=4)
# 定義模型
model = MiniBatchKMeans(n_clusters=2)
# 模型擬合
model.fit(X)
# 爲每個示例分配一個集羣
yhat = model.predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，會找到與標準 K - 均值算法相當的結果。

帶有最小批次 K 均值聚類的聚類數據集的散點圖

9. 均值漂移聚類

均值漂移聚類涉及到根據特徵空間中的實例密度來尋找和調整質心。

對離散數據證明了遞推平均移位程序收斂到最接近駐點的基礎密度函數，從而證明了它在檢測密度模式中的應用。

—源自：《Mean Shift ：面向特徵空間分析的穩健方法》，2002

它是通過 MeanShift 類實現的，主要配置是 “帶寬” 超參數。下面列出了完整的示例。

# 均值漂移聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import MeanShift
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2,
    n_informative=2,
    n_redundant=0, 
    n_clusters_per_class=1,
    random_state=4)
# 定義模型
model = MeanShift()
# 模型擬合與聚類預測
yhat = model.fit_predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
 pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，可以在數據中找到一組合理的羣集。

具有均值漂移聚類的聚類數據集散點圖

10.OPTICS

OPTICS 聚類（ OPTICS 短於訂購點數以標識聚類結構）是上述 DBSCAN 的修改版本。

我們爲聚類分析引入了一種新的算法，它不會顯式地生成一個數據集的聚類；而是創建表示其基於密度的聚類結構的數據庫的增強排序。此羣集排序包含相當於密度聚類的信息，該信息對應於範圍廣泛的參數設置。

—源自：《OPTICS ：排序點以標識聚類結構》，1999

它是通過 OPTICS 類實現的，主要配置是 “eps” 和“ min _ samples ”超參數。下面列出了完整的示例。

# optics聚類
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import OPTICS
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2, 
    n_informative=2,
    n_redundant=0, 
    n_clusters_per_class=1, 
    random_state=4)
# 定義模型
model = OPTICS(eps=0.8, min_samples=10)
# 模型擬合與聚類預測
yhat = model.fit_predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
 # 獲取此羣集的示例的行索引
 row_ix = where(yhat == cluster)
 # 創建這些樣本的散佈
 pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
 # 繪製散點圖
 pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，我無法在此數據集上獲得合理的結果。

使用 OPTICS 聚類確定具有聚類的數據集的散點圖

11. 光譜聚類

光譜聚類是一類通用的聚類方法，取自線性線性代數。

最近在許多領域出現的一個有希望的替代方案是使用聚類的光譜方法。這裏，使用從點之間的距離導出的矩陣的頂部特徵向量。

—源自：《關於光譜聚類：分析和算法》，2002 年

它是通過 Spectral 聚類類實現的，而主要的 Spectral 聚類是一個由聚類方法組成的通用類，取自線性線性代數。要優化的是 “n _ clusters” 超參數，用於指定數據中的估計羣集數量。下面列出了完整的示例。

# spectral clustering
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.cluster import SpectralClustering
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
  n_samples=1000,
  n_features=2, 
  n_informative=2, 
  n_redundant=0, 
  n_clusters_per_class=1, 
  random_state=4)
# 定義模型
model = SpectralClustering(n_clusters=2)
# 模型擬合與聚類預測
yhat = model.fit_predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
    # 獲取此羣集的示例的行索引
    row_ix = where(yhat == cluster)
    # 創建這些樣本的散佈
    pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
    # 繪製散點圖
    pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。

在這種情況下，找到了合理的集羣。

使用光譜聚類聚類識別出具有聚類的數據集的散點圖

12. 高斯混合模型

高斯混合模型總結了一個多變量概率密度函數，顧名思義就是混合了高斯概率分佈。它是通過 Gaussian Mixture 類實現的，要優化的主要配置是 “n _ clusters” 超參數，用於指定數據中估計的羣集數量。下面列出了完整的示例。

# 高斯混合模型
from numpy import unique
from numpy import where
from sklearn.datasets import make_classification
from sklearn.mixture import GaussianMixture
from matplotlib import pyplot
# 定義數據集
X, _ = make_classification(
   n_samples=1000, 
    n_features=2,
    n_informative=2, 
    n_redundant=0,
    n_clusters_per_class=1,
    random_state=4)
# 定義模型
model = GaussianMixture(n_components=2)
# 模型擬合
model.fit(X)
# 爲每個示例分配一個集羣
yhat = model.predict(X)
# 檢索唯一羣集
clusters = unique(yhat)
# 爲每個羣集的樣本創建散點圖
for cluster in clusters:
  # 獲取此羣集的示例的行索引
  row_ix = where(yhat == cluster)
  # 創建這些樣本的散佈
  pyplot.scatter(X[row_ix, 0], X[row_ix, 1])
  # 繪製散點圖
  pyplot.show()

運行該示例符合訓練數據集上的模型，並預測數據集中每個示例的羣集。然後創建一個散點圖，並由其指定的羣集着色。在這種情況下，我們可以看到羣集被完美地識別。這並不奇怪，因爲數據集是作爲 Gaussian 的混合生成的。

使用高斯混合聚類識別出具有聚類的數據集的散點圖

總結

在本教程中，您發現瞭如何在 python 中安裝和使用頂級聚類算法。具體來說，你學到了：

聚類是在特徵空間輸入數據中發現自然組的無監督問題；
有許多不同的聚類算法，對於所有數據集沒有單一的最佳方法；
在 scikit-learn 機器學習庫的 Python 中如何實現、適合和使用頂級聚類算法。

本文由 Readfog 進行 AMP 轉碼，版權歸原作者所有。
來源：https://mp.weixin.qq.com/s/nHw_Q8HuO1pwCB9wHWGIUQ

什麼是聚類

聚類算法

聚類算法示例

總結

猜你喜歡