聚类分析堪称数据世界中的“物以类聚人以群分”的智慧实践者。一、核心思想无监督的“自然分组”想象你走进一个拥挤的派对事先没人告诉你任何信息无标签、无监督。你的大脑会自动开始工作那些聚在一起谈论代码和算法的人可能是一群程序员角落里热烈讨论油画和音乐的人可能来自艺术圈而围着自助餐台大快朵颐的可能是单纯的“吃货联盟”。这个过程就是聚类分析在没有预先定义类别的情况下通过数据对象之间的相似性将数据集划分为若干个组簇使得同一簇内的对象彼此相似而不同簇的对象相异。它的核心任务是回答“在我的数据中有哪些‘自然形成’的群体”二、关键概念与数学基石在进行聚类前我们必须明确两件事如何量化“相似”以及我们希望形成什么样的“群体结构”。1. 相似性度量计算“亲疏关系”的尺子我们通常用距离来衡量相似性距离越小相似度越高。常用的“尺子”有距离度量计算公式两点x, y生动比喻与适用场景欧氏距离$d \sqrt{\sum_{i1}^{n}(x_i - y_i)^2}$“直线最短”。就像地图上两点间的直线距离。最直观适用于各个维度重要性相同、分布均匀的连续数据。曼哈顿距离$d \sum_{i1}^{n}|x_i - y_i|$“城市街区距离”。想象在棋盘状的曼哈顿街区你不能斜穿大楼只能沿街道直角行走的距离。对异常值比欧氏距离更不敏感。余弦相似度$\text{similarity} \frac{x \cdot y}{|x||y|}$“方向一致性”。不关心长度只关心向量指向的方向是否一致。非常适合文本分析比如比较两篇文章的主题相似性而忽略文章长度。例子比较用户A和B的电影评分满分5分。A给《科幻片1》打5分《文艺片1》打1分B给《科幻片1》打4分《文艺片1》打2分。欧氏距离$\sqrt{(5-4)^2 (1-2)^2} \sqrt{2} \approx 1.41$余弦相似度$(54 12) / (\sqrt{26} * \sqrt{20}) \approx 0.98$。结果显示方向高度一致都喜欢科幻远胜文艺尽管评分绝对值有差异。2. 簇的类型你想要的群体长什么样不同的算法倾向于发现不同形状的簇基于中心的簇像一个星球和它的引力范围簇内所有点都离某个中心点质心较近。K-Means擅长发现这种。基于密度的簇像一片星云或人群聚集地只要区域中点的密度高于阈值就形成一个簇并能发现任意形状。DBSCAN擅长发现这种。基于连接的簇像一棵树或水系图通过点与点之间的邻近性连接而成。层次聚类擅长发现这种。三、主流算法详解各显神通的“分组大师”1. K-Means高效简洁的“划分大师”生动比喻“竞选分区划片”。假设要在一个城市设立K个便民服务中心目标是让每个市民到最近中心的平均距离最短。K-Means的工作流程如下初始化随机在城里选K个位置作为临时中心点初始质心。分配每个市民数据点根据距离选择离自己最近的中心点形成K个“临时片区”簇。更新在每个“临时片区”里重新计算所有市民位置的几何中心将这个中心设为新的便民中心位置更新质心。迭代重复步骤2和3直到中心点的位置不再发生显著变化收敛。优点原理简单计算效率高适用于大规模数据。缺点必须预先指定K值对初始质心敏感只能发现球状簇对噪声和异常点敏感。代码示例from sklearn.cluster import KMeans from sklearn.datasets import make_blobs import matplotlib.pyplot as plt # 1. 创建模拟数据3个“自然”的基于中心的簇 X, y_true make_blobs(n_samples300, centers3, cluster_std0.8, random_state42) # 2. 应用K-Means 假设我们知道要分成3类 kmeans KMeans(n_clusters3, random_state42) y_kmeans kmeans.fit_predict(X) # 3. 可视化结果 plt.figure(figsize(10, 4)) # 真实分布 plt.subplot(1, 2, 1) plt.scatter(X[:, 0], X[:, 1], cy_true, s30, cmapviridis, edgecolork) plt.title(真实分布 (Ground Truth)) plt.xlabel(特征1) plt.ylabel(特征2) # K-Means聚类结果 plt.subplot(1, 2, 2) plt.scatter(X[:, 0], X[:, 1], cy_kmeans, s30, cmapviridis, edgecolork) # 画出质心 centers kmeans.cluster_centers_ plt.scatter(centers[:, 0], centers[:, 1], cred, s250, alpha0.8, markerX, label质心) plt.title(K-Means聚类结果) plt.xlabel(特征1) plt.ylabel(特征2) plt.legend() plt.tight_layout() plt.show() print(fK-Means找到的3个质心坐标为 {centers})2. DBSCAN发现任意形状的“密度探险家”生动比喻“人群聚集探测”。在广场上人群聚集的地方密度高就是一个个簇而稀疏站立的个别人密度低则是噪声。DBSCAN需要两个参数eps (ε)邻域半径。好比一个人的“视线范围”。min_samples核心对象的最小邻居数。好比定义“人群”的最小人数阈值。工作流程从一个随机未访问点出发数一数其eps半径内有多少个点。如果点数 ≥min_samples它就是一个核心对象以此为核心开始形成一个簇。然后递归地将该核心对象邻域内的所有点包括其他核心对象都划入同一个簇像滚雪球一样。如果点数 min_samples且它不在任何核心对象的邻域内则被标记为噪声。重复上述过程直到所有点都被访问。优点无需预先指定簇数能发现任意形状的簇能有效识别噪声点。缺点对参数eps和min_samples敏感在高维数据上可能效果不佳“维度灾难”。代码示例from sklearn.cluster import DBSCAN from sklearn.datasets import make_moons import numpy as np # 1. 创建模拟数据两个半月牙形簇非球状 X, y_true make_moons(n_samples300, noise0.08, random_state42) # 2. 应用DBSCAN # eps: 邻域半径 min_samples: 核心点所需的最小邻居数 dbscan DBSCAN(eps0.22, min_samples5) y_db dbscan.fit_predict(X) # 3. 识别核心点、边界点和噪声点 core_samples_mask np.zeros_like(dbscan.labels_, dtypebool) core_samples_mask[dbscan.core_sample_indices_] True # 核心点索引 labels dbscan.labels_ n_clusters_ len(set(labels)) - (1 if -1 in labels else 0) # 忽略噪声点(-1) n_noise_ list(labels).count(-1) print(f估计的簇数量: {n_clusters_}) print(f估计的噪声点数量: {n_noise_}) # 4. 可视化 plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.scatter(X[:, 0], X[:, 1], cy_true, s30, cmapviridis, edgecolork) plt.title(真实分布 (两个半月牙)) plt.xlabel(特征1) plt.ylabel(特征2) plt.subplot(1, 2, 2) # 为不同的簇和噪声分配颜色 unique_labels set(labels) colors plt.cm.Spectral(np.linspace(0, 1, len(unique_labels))) for k, col in zip(unique_labels, colors): if k -1: # 噪声点用黑色表示 col k marker ^ class_member_mask (labels k) xy X[class_member_mask core_samples_mask] # 核心点 plt.scatter(xy[:, 0], xy[:, 1], s50, c[col], markero, edgecolork, linewidth0.5) xy X[class_member_mask ~core_samples_mask] # 边界点 plt.scatter(xy[:, 0], xy[:, 1], s30, c[col], markero, edgecolork, linewidth0.5, alpha0.6) plt.title(fDBSCAN聚类结果 (发现 {n_clusters_} 个簇, {n_noise_} 个噪声点)) plt.xlabel(特征1) plt.ylabel(特征2) plt.tight_layout() plt.show()3. 层次聚类构建数据的“家谱树”生动比喻“生物分类学”或“公司组织结构图”。从每个个体数据点开始将最相似的两个合并成一个小组然后小组之间再找最相似的合并层层向上最终形成一棵树状图Dendrogram。这有两种策略凝聚层次聚类自底向上从点开始逐步合并。像小公司合并成大集团。分裂层次聚类自顶向下从整个数据集开始逐步分裂。像一个大集团拆分成多个子公司。优点无需预先指定簇数通过树状图可以直观地展示数据的层次结构便于决定在哪个“高度”切割以获得特定数量的簇。缺点计算复杂度高不适合大规模数据集一旦合并或分裂决策不可逆。树状图解读示例通过观察树状图纵轴距离的“长杆”可以找到自然的切割点。杆子越长代表此次合并的两个簇差异越大。在长杆下方切割会得到更少、更宏观的簇在短杆处切割会得到更多、更精细的簇。四、应用场景聚类在何处大显身手聚类分析的应用几乎遍及所有数据驱动的领域客户细分市场分析电商平台根据用户的购买历史、浏览行为将客户分成“价格敏感型”、“品质追求型”、“母婴家庭型”等进行精准营销。异常检测安全风控在信用卡交易中绝大多数正常交易会形成密集的簇而极少数的欺诈交易则会作为远离簇的“噪声”或独立小簇被识别出来。图像分割计算机视觉将图像中的像素根据颜色、纹理进行聚类从而区分出前景、背景或不同的物体区域。文档归类自然语言处理对新闻文章进行聚类自动发现热点话题如“科技”、“体育”、“财经”板块。社交网络分析在社交图谱中聚类可以发现紧密联系的社群或兴趣小组。五、算法选择与评估没有最好只有最合适没有一种聚类算法是万能的。选择时需考虑数据规模大数据集优先选K-Means、DBSCAN小数据集可考虑层次聚类。簇的形状球形簇用K-Means任意形状、带噪声用DBSCAN层次结构数据用层次聚类。是否需要簇数有先验知识选K-Means无先验知识可尝试DBSCAN或通过层次聚类的树状图分析。对噪声的敏感性DBSCAN对噪声鲁棒K-Means敏感。评估指标内部评估无需真实标签轮廓系数结合了内聚度同簇相似度和分离度不同簇差异度值在-1到1之间越大越好。Calinski-Harabasz指数簇间离散度与簇内离散度的比值越大表示簇自身越紧密簇间越分离。总结聚类分析是一套强大的无监督学习工具集它如同一位敏锐的数据探险家在未知的标签荒漠中依据“物以类聚”的古老法则为我们揭示数据内部隐藏的群体结构和自然模式。从简单高效的K-Means到能适应复杂形状的DBSCAN再到展现层次关系的层次聚类每种算法都是解决特定问题的利器。理解它们的原理、优缺点和适用场景是开启数据探索之旅、进行有效客户分群、异常检测乃至更高级模式发现的关键第一步。在实践中往往需要结合业务理解尝试多种方法并通过可视化与评估指标来选择和优化模型。参考来源聚类分析主要算法详解_人工智能_fanxbl957-魔乐社区聚类分析算法全解析_数据聚类算法-CSDN博客聚类分析算法原理与实操案例-51CTO学堂
机器学习数据挖掘聚类分析全解析：从原理到应用
聚类分析堪称数据世界中的“物以类聚人以群分”的智慧实践者。一、核心思想无监督的“自然分组”想象你走进一个拥挤的派对事先没人告诉你任何信息无标签、无监督。你的大脑会自动开始工作那些聚在一起谈论代码和算法的人可能是一群程序员角落里热烈讨论油画和音乐的人可能来自艺术圈而围着自助餐台大快朵颐的可能是单纯的“吃货联盟”。这个过程就是聚类分析在没有预先定义类别的情况下通过数据对象之间的相似性将数据集划分为若干个组簇使得同一簇内的对象彼此相似而不同簇的对象相异。它的核心任务是回答“在我的数据中有哪些‘自然形成’的群体”二、关键概念与数学基石在进行聚类前我们必须明确两件事如何量化“相似”以及我们希望形成什么样的“群体结构”。1. 相似性度量计算“亲疏关系”的尺子我们通常用距离来衡量相似性距离越小相似度越高。常用的“尺子”有距离度量计算公式两点x, y生动比喻与适用场景欧氏距离$d \sqrt{\sum_{i1}^{n}(x_i - y_i)^2}$“直线最短”。就像地图上两点间的直线距离。最直观适用于各个维度重要性相同、分布均匀的连续数据。曼哈顿距离$d \sum_{i1}^{n}|x_i - y_i|$“城市街区距离”。想象在棋盘状的曼哈顿街区你不能斜穿大楼只能沿街道直角行走的距离。对异常值比欧氏距离更不敏感。余弦相似度$\text{similarity} \frac{x \cdot y}{|x||y|}$“方向一致性”。不关心长度只关心向量指向的方向是否一致。非常适合文本分析比如比较两篇文章的主题相似性而忽略文章长度。例子比较用户A和B的电影评分满分5分。A给《科幻片1》打5分《文艺片1》打1分B给《科幻片1》打4分《文艺片1》打2分。欧氏距离$\sqrt{(5-4)^2 (1-2)^2} \sqrt{2} \approx 1.41$余弦相似度$(54 12) / (\sqrt{26} * \sqrt{20}) \approx 0.98$。结果显示方向高度一致都喜欢科幻远胜文艺尽管评分绝对值有差异。2. 簇的类型你想要的群体长什么样不同的算法倾向于发现不同形状的簇基于中心的簇像一个星球和它的引力范围簇内所有点都离某个中心点质心较近。K-Means擅长发现这种。基于密度的簇像一片星云或人群聚集地只要区域中点的密度高于阈值就形成一个簇并能发现任意形状。DBSCAN擅长发现这种。基于连接的簇像一棵树或水系图通过点与点之间的邻近性连接而成。层次聚类擅长发现这种。三、主流算法详解各显神通的“分组大师”1. K-Means高效简洁的“划分大师”生动比喻“竞选分区划片”。假设要在一个城市设立K个便民服务中心目标是让每个市民到最近中心的平均距离最短。K-Means的工作流程如下初始化随机在城里选K个位置作为临时中心点初始质心。分配每个市民数据点根据距离选择离自己最近的中心点形成K个“临时片区”簇。更新在每个“临时片区”里重新计算所有市民位置的几何中心将这个中心设为新的便民中心位置更新质心。迭代重复步骤2和3直到中心点的位置不再发生显著变化收敛。优点原理简单计算效率高适用于大规模数据。缺点必须预先指定K值对初始质心敏感只能发现球状簇对噪声和异常点敏感。代码示例from sklearn.cluster import KMeans from sklearn.datasets import make_blobs import matplotlib.pyplot as plt # 1. 创建模拟数据3个“自然”的基于中心的簇 X, y_true make_blobs(n_samples300, centers3, cluster_std0.8, random_state42) # 2. 应用K-Means 假设我们知道要分成3类 kmeans KMeans(n_clusters3, random_state42) y_kmeans kmeans.fit_predict(X) # 3. 可视化结果 plt.figure(figsize(10, 4)) # 真实分布 plt.subplot(1, 2, 1) plt.scatter(X[:, 0], X[:, 1], cy_true, s30, cmapviridis, edgecolork) plt.title(真实分布 (Ground Truth)) plt.xlabel(特征1) plt.ylabel(特征2) # K-Means聚类结果 plt.subplot(1, 2, 2) plt.scatter(X[:, 0], X[:, 1], cy_kmeans, s30, cmapviridis, edgecolork) # 画出质心 centers kmeans.cluster_centers_ plt.scatter(centers[:, 0], centers[:, 1], cred, s250, alpha0.8, markerX, label质心) plt.title(K-Means聚类结果) plt.xlabel(特征1) plt.ylabel(特征2) plt.legend() plt.tight_layout() plt.show() print(fK-Means找到的3个质心坐标为 {centers})2. DBSCAN发现任意形状的“密度探险家”生动比喻“人群聚集探测”。在广场上人群聚集的地方密度高就是一个个簇而稀疏站立的个别人密度低则是噪声。DBSCAN需要两个参数eps (ε)邻域半径。好比一个人的“视线范围”。min_samples核心对象的最小邻居数。好比定义“人群”的最小人数阈值。工作流程从一个随机未访问点出发数一数其eps半径内有多少个点。如果点数 ≥min_samples它就是一个核心对象以此为核心开始形成一个簇。然后递归地将该核心对象邻域内的所有点包括其他核心对象都划入同一个簇像滚雪球一样。如果点数 min_samples且它不在任何核心对象的邻域内则被标记为噪声。重复上述过程直到所有点都被访问。优点无需预先指定簇数能发现任意形状的簇能有效识别噪声点。缺点对参数eps和min_samples敏感在高维数据上可能效果不佳“维度灾难”。代码示例from sklearn.cluster import DBSCAN from sklearn.datasets import make_moons import numpy as np # 1. 创建模拟数据两个半月牙形簇非球状 X, y_true make_moons(n_samples300, noise0.08, random_state42) # 2. 应用DBSCAN # eps: 邻域半径 min_samples: 核心点所需的最小邻居数 dbscan DBSCAN(eps0.22, min_samples5) y_db dbscan.fit_predict(X) # 3. 识别核心点、边界点和噪声点 core_samples_mask np.zeros_like(dbscan.labels_, dtypebool) core_samples_mask[dbscan.core_sample_indices_] True # 核心点索引 labels dbscan.labels_ n_clusters_ len(set(labels)) - (1 if -1 in labels else 0) # 忽略噪声点(-1) n_noise_ list(labels).count(-1) print(f估计的簇数量: {n_clusters_}) print(f估计的噪声点数量: {n_noise_}) # 4. 可视化 plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.scatter(X[:, 0], X[:, 1], cy_true, s30, cmapviridis, edgecolork) plt.title(真实分布 (两个半月牙)) plt.xlabel(特征1) plt.ylabel(特征2) plt.subplot(1, 2, 2) # 为不同的簇和噪声分配颜色 unique_labels set(labels) colors plt.cm.Spectral(np.linspace(0, 1, len(unique_labels))) for k, col in zip(unique_labels, colors): if k -1: # 噪声点用黑色表示 col k marker ^ class_member_mask (labels k) xy X[class_member_mask core_samples_mask] # 核心点 plt.scatter(xy[:, 0], xy[:, 1], s50, c[col], markero, edgecolork, linewidth0.5) xy X[class_member_mask ~core_samples_mask] # 边界点 plt.scatter(xy[:, 0], xy[:, 1], s30, c[col], markero, edgecolork, linewidth0.5, alpha0.6) plt.title(fDBSCAN聚类结果 (发现 {n_clusters_} 个簇, {n_noise_} 个噪声点)) plt.xlabel(特征1) plt.ylabel(特征2) plt.tight_layout() plt.show()3. 层次聚类构建数据的“家谱树”生动比喻“生物分类学”或“公司组织结构图”。从每个个体数据点开始将最相似的两个合并成一个小组然后小组之间再找最相似的合并层层向上最终形成一棵树状图Dendrogram。这有两种策略凝聚层次聚类自底向上从点开始逐步合并。像小公司合并成大集团。分裂层次聚类自顶向下从整个数据集开始逐步分裂。像一个大集团拆分成多个子公司。优点无需预先指定簇数通过树状图可以直观地展示数据的层次结构便于决定在哪个“高度”切割以获得特定数量的簇。缺点计算复杂度高不适合大规模数据集一旦合并或分裂决策不可逆。树状图解读示例通过观察树状图纵轴距离的“长杆”可以找到自然的切割点。杆子越长代表此次合并的两个簇差异越大。在长杆下方切割会得到更少、更宏观的簇在短杆处切割会得到更多、更精细的簇。四、应用场景聚类在何处大显身手聚类分析的应用几乎遍及所有数据驱动的领域客户细分市场分析电商平台根据用户的购买历史、浏览行为将客户分成“价格敏感型”、“品质追求型”、“母婴家庭型”等进行精准营销。异常检测安全风控在信用卡交易中绝大多数正常交易会形成密集的簇而极少数的欺诈交易则会作为远离簇的“噪声”或独立小簇被识别出来。图像分割计算机视觉将图像中的像素根据颜色、纹理进行聚类从而区分出前景、背景或不同的物体区域。文档归类自然语言处理对新闻文章进行聚类自动发现热点话题如“科技”、“体育”、“财经”板块。社交网络分析在社交图谱中聚类可以发现紧密联系的社群或兴趣小组。五、算法选择与评估没有最好只有最合适没有一种聚类算法是万能的。选择时需考虑数据规模大数据集优先选K-Means、DBSCAN小数据集可考虑层次聚类。簇的形状球形簇用K-Means任意形状、带噪声用DBSCAN层次结构数据用层次聚类。是否需要簇数有先验知识选K-Means无先验知识可尝试DBSCAN或通过层次聚类的树状图分析。对噪声的敏感性DBSCAN对噪声鲁棒K-Means敏感。评估指标内部评估无需真实标签轮廓系数结合了内聚度同簇相似度和分离度不同簇差异度值在-1到1之间越大越好。Calinski-Harabasz指数簇间离散度与簇内离散度的比值越大表示簇自身越紧密簇间越分离。总结聚类分析是一套强大的无监督学习工具集它如同一位敏锐的数据探险家在未知的标签荒漠中依据“物以类聚”的古老法则为我们揭示数据内部隐藏的群体结构和自然模式。从简单高效的K-Means到能适应复杂形状的DBSCAN再到展现层次关系的层次聚类每种算法都是解决特定问题的利器。理解它们的原理、优缺点和适用场景是开启数据探索之旅、进行有效客户分群、异常检测乃至更高级模式发现的关键第一步。在实践中往往需要结合业务理解尝试多种方法并通过可视化与评估指标来选择和优化模型。参考来源聚类分析主要算法详解_人工智能_fanxbl957-魔乐社区聚类分析算法全解析_数据聚类算法-CSDN博客聚类分析算法原理与实操案例-51CTO学堂
