Python教程

python 文本分词后计算n-gram

本文主要是介绍python 文本分词后计算n-gram，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

直接上代码

def n_grams(s, n):
    # 计算分词后的n-gram  s:list tokens  n: gram num
    result = []
    for i in range(len(s)-n+1):
        res = "".join(s[i:i+n])
        result.append(res)
    return result


for each in data[:10].iterrows():
    item = each[1]
    title = item[2]
    for each_query in str(item[3]).split(','):
        tokens = []
        term = lac.run(each_query)
        print(term)
        for i in range(1,len(term)+1):
            tokens.extend(n_grams(term, i))
        print(tokens)
        print()

结果展示：

 

这篇关于python 文本分词后计算n-gram的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！
您可能喜欢
栏目导航