第一次编程作业

1.相关代码已经上传到GitHub

2.PSP 表格

3. 模块接口的设计以及实现过程

1. 主要实现类

• 主类： main方法，主要作用是接收命令行的参数，以及调用工具类执行程序
• 工具类：计算simHash值的工具类，包括计算海明距离的函数
• 单元测试：test方法，测试主类以及工具类是否可以正常使用

项目结构：

项目流程以及函数间的关系：

2. 关键函数的分析与实现

实现函数的需求分析以及解释：

• 分词：给定一段语句，进行分词，得到有效的特征向量，然后为每一个特征向量设置1-5等5个级别的权重。 例如：“今天天气晴朗，我心情随着好了起来”分词后为“今天/天气/晴朗/，/我/心情/随着/好了起来”,然后为每个特征向量赋予权值,代表这个单词在整条语句中的重要程度，数字越大代表越重要。
• 计算hash：通过hash函数计算各个特征向量的hash值，hash值为二进制数01组成的n-bit签名。
• 加权：在hash值的基础上，给所有特征向量进行加权，即W = Hash weight，且遇到1则hash值和权值正相乘，遇到0则hash值和权值负相乘。
• 合并：将上述各个特征向量的加权结果累加，变成只有一个序列串。
• 降维：对于n-bit签名的累加结果，如果大于0则置1，否则置0，从而得到该语句的simhash值，最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。从而形成它们的simhash签名。

算法流程：

相关参考连接

4. 性能分析

利用pycharm的插件可以得到耗费时间的几个主要函数排名：

由于simHash已经是非常强大的查重算法工具了，所以没有找到优化速度的比较好的方法，故在代码结果方面做了比较大的改进，进一步优化代码结构。

5.单元测试

代码展示

使用python3自带的unitTest单元测试工具对主函数进行相关样例测试，并模拟了异常处理场景

测试结果

写入文件展示：

代码覆盖率

由于单元测试不需要输入，所以主函数的代码覆盖率略低

6.异常处理

代码展示

如果找不到文件路径，就打印相关错误并结束程序

测试结果：

抄袭文件输入路径错误：

源文件输入路径错误：

谢谢观看！