点互信息pmi

本文主要是介绍点互信息pmi，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

由于在文本处理中会用到互信息所以做一下总结

pmi（Pointwise Mutual Information）：

$pmi(a,b) = log\frac{p(a,b)}{p(a)p(b)}$

$= log\frac{p(a|b)}{p(a)} = log\frac{p(b|a)}{p(b)}$

如果a和b不相关值为1。当ab条件独立时，p(a|b) = p(a)此时pmi为0。

如果ab的联合概率越大则该值越大。

在文本处理中经常会遇到计算pmi

其中 p(a,b) 为 a和b共现的次数/总字符数（如果ab均代表字符的情况下也就是unigram）

p(a) 为 a出现的次数/总字符数，p(b) 为b出现的次数/总字符数

这里联合概率是存在一些问题的因为p(a,b) = p(b,a) 但实际文本处理过程中a和b两个字符存在顺序。

参考文献：

互联网时代的社会语言学：基于SNS的文本数据挖掘 | Matrix67: The Aha Moments

新词发现的信息熵方法与实现 - 科学空间|Scientific Spaces

点互信息和互信息 PMI - 简书

这篇关于点互信息pmi的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！

Java教程