Java教程

PMI点互信息算法

本文主要是介绍PMI点互信息算法,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一、点互信息算法

    点互信息算法是为了计算两个词语之间的相关性,公式如下:

 

 

 p(word1  & word2)代表的是两个单词同时出现的概率(两个单词同时出现的次数/总词数的平方)

 p(word1)是word1出现的概率(word1出现的次数/总次数)

 p(word2)是word2出现的概率(word1出现的次数/总次数)

结果:

PMI > 0;两个词语是相关的;值越大,相关性越强。

PMI = 0;两个词语是统计独立的,不相关也不互斥。

PMI < 0;两个词语是不相关的,互斥的。

二、情感倾向点互信息算法(SO-PMI)

       选用一组褒义词(Pwords)跟一组贬义词(Nwords)作为基准词。若把一个词语word1跟Pwords的点间互信息减去word1跟Nwords的点间互信息会得到一个差值,就可以根据该差值判断词语word1的情感倾向。

 

 

 

 

SO(phrase)>0 正面倾向,是褒义词

SO(phrase)=0 为中性词

SO(phrase)<0 为贬义词

这篇关于PMI点互信息算法的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!