1-1Github链接：https://github.com/Daliwww/3119009434---

1-2计算模块接口的设计与实现过程。

• 算法选择:

刚开始查阅资料的时候先找到的是simhash函数，在用自己的文本进行初步测试时发现得出的测试结果不忍直视，就放弃了。然后又看到了评价很好的TF-IDF模型，可是自己查重效果也不太好，原因是语料库不够多，没有足够的训练样本，不适用于这种一对一文档对比。还有看到其他几种方法，总会出现一些能力之外的错，最后终于找到简单易懂的余弦算法

• 解题思路：

1.第一步肯定是简单地读取文档
2.接下来就是处理文本，这里我选择了最简单也适合我的jieba分词，不禁感叹python的方便
3.分词完就是可以用各种方法进行计算了
4.最后在指定路径输出结果

• 余弦算法的流程：

（1）找出两篇文章的关键词
（2）每篇文章各取出若干个关键词，合并成一个集合，计算每篇文章对于这个集合中的词的词频
（3）生成两篇文章各自的词频向量
（4）计算两个向量的余弦相似度，值越大就表示越相似。

• 函数定义：

这里我主要定义了三个函数：
1.去标点符号

2.建立词袋模型

3.余弦相似度的计算

1-3计算模块接口部分的性能改进。

• 几点问题：

1.标点符号的去除，效果还是有的
2.cos方法在计算短文本重复率有较好的性能，而在计算长文本容易结果偏高（如下图）
（ps:因为为了更好地观察文本相似度，这一步骤没有取小数点后两位）

改进：不再直接用jieba分词处理后的文本建立词典，而是通过提取关键词来建立词典（这次的结果就比较符合预期了）

3.关键词数的选择对结果影响很大，但是对于一篇文档重要的词数不容易确定（有些精炼，有些啰嗦）

（因为想展示关键词的影响，所以在词数选择时选择了比较极端的情况（极大和极小））
想法：我是比较想用去除自定义停用表的方法，但是因为不能读写其他的文件，就只能pass了。

• 性能分析：

从总时间来看，2.5s，要求以内（毕竟余弦虽然准确率没有其他方法高，但是好歹跑的快）

1-4计算模块部分单元测试展示。

• 代码如下：

import codecs
import re
import jieba.analyse
import math
#去除文本内的空格、中文标点符号
def del_reg(filename):
      reg = "[^0-9A-Za-z\u4e00-\u9fa5]"
      file_content = re.sub(reg, '', filename)
      return file_content
#建立词袋模型，将中文词语降维成二维向量
def code(keyword, dictionary):
    array = [0] * len(dictionary)
    for content in keyword:
        array[dictionary[content]] += 1
    return array
#通过计算两个向量的余弦距离来求文本相似度
def cos(vector1, vector2):
    vector_sum = 0
    fq1 = 0
    fq2 = 0
    for content in range(len(vector1)):
        vector_sum += vector1[content] * vector2[content]
        fq1 += pow(vector1[content], 2)
        fq2 += pow(vector2[content], 2)
    try:
        answer = round(float(vector_sum) / (math.sqrt(fq1) * math.sqrt(fq2)), 3)
    except ZeroDivisionError:
        answer = 0.0
    return answer
#encoding='utf-8'
#file_path1 = input("文件1路径：")
#file_path2 = input("文件2路径：")
file_path1='sim_0.8/orig.txt'
fileList=['sim_0.8/orig.txt', 'sim_0.8/orig_0.8_add.txt', 'sim_0.8/orig_0.8_del.txt','sim_0.8/orig_0.8_dis_1.txt', 'sim_0.8/orig_0.8_dis_3.txt','sim_0.8/orig_0.8_dis_7.txt','sim_0.8/orig_0.8_dis_10.txt',
'sim_0.8/orig_0.8_dis_15.txt','sim_0.8/orig_0.8_mix.txt','sim_0.8/orig_0.8_rep.txt']
for r in range(0,10):
    file1 = codecs.open(file_path1, mode='r', encoding='utf-8').read()
    file2 = codecs.open(fileList[r], mode='r', encoding='utf-8').read()
    file1 = del_reg(file1)
    file2 = del_reg(file2)
    #提取文本里的关键词
    keyword1 = jieba.analyse.extract_tags(file1, topK=200, withWeight=False)
    keyword2 = jieba.analyse.extract_tags(file2, topK=200, withWeight=False)
    #将文档1和文档2提取到的关键词合并成一个集合
    word_set = set(keyword1).union(set(keyword2))
    #建立一个词典
    word_dict = dict()
    i = 0
    #将两篇文章出现的关键词存入到字典里
    for word in word_set:
        word_dict[word] = i
        i += 1
    file1_code = code(keyword1, word_dict)
    file2_code = code(keyword2, word_dict)
    result = cos(file1_code, file2_code)
    print("文档1和文档%d的相似度是：%.2f" % (r+1, result))

输出结果还是可以接受的吧，至少不是毫无区分度。

• 覆盖率：

1-5计算模块部分异常处理说明。

1.当给出路径不存在可以读取的文件时：

2.当进行余弦计算时出现0：

1-6psp表格：

一些总结：

刚开始看到这个题目，完全不理解应该怎么做，但是一步步摸索，一步步去看大佬的代码，自己就有思路了，虽然依旧比较粗糙，但是收益颇丰。