Net Core教程

评价聚类结果之entropy(熵值)和purity(纯度)https://blog.csdn.net/vernice/article/details/46467449

本文主要是介绍评价聚类结果之entropy(熵值)和purity(纯度)https://blog.csdn.net/vernice/article/details/46467449,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

使用k-means算法对数据进行聚类之后,通常需要验证一下聚类的效果。常用的验证方法包括entropy、purity、precious、F-measure、Recall,本文只介绍entropy和purity算法。

 

Entropy:

对于一个聚类i,首先计算。指的是聚类 i 中的成员(member)属于类(class)j 的概率,。其中是在聚类 i 中所有成员的个数,是聚类 i 中的成员属于类 j 的个数。每个聚类的entropy可以表示为,其中L是类(class)的个数。整个聚类划分的entropy为,其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。

 

 

 

Purity:

使用上述Entropy中的定义,我们将聚类 i 的purity定义为。整个聚类划分的purity为,其中K是聚类(cluster)的数目,m是整个聚类划分所涉及到的成员个数。

 

下表是对取自洛杉矶时报的3204篇文章进行的k-means划分的结果,共分为6个cluster。这些文章取自娱乐、金融等六个类别。理想情况下每个cluster只含有某一特定类别的文章。其中,cluster 3 与体育类别吻合的比较好,所以其entropy很低,purity很高。

 


entropy和purity的核心代码(Python version)如下:


e_i = [0 for x in range(0,6)]
p_i = [0 for x in range(0,6)]
for i in range(0,cluster_num):
wr_line_part = ","
for j in range(0,6):
wr_line_part += str(M_aggregate[i][j]) + ','
p_i_j = M_aggregate[i][j]*1.0/m_i[i] + 0.00000001
print (p_i_j)
e_i[i] += 0 - p_i_j*math.log2(p_i_j)
if (p_i[i] < p_i_j):
p_i[i] = p_i_j
print (e_i[i])
print (p_i[i])

e = 0
p = 0
for i in range(0,6):
e += m_i[i]/m*e_i[i]
p += m_i[i]/m*p_i[i]


————————————————
版权声明:本文为CSDN博主「Yunhe_Feng」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/vernice/article/details/46467449

这篇关于评价聚类结果之entropy(熵值)和purity(纯度)https://blog.csdn.net/vernice/article/details/46467449的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!