Java教程

论文查重—个人项目

本文主要是介绍论文查重—个人项目,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

第一次编程作业

这个作业属于哪个课程 网工1934-软件工程
这个作业要求在哪里 作业要求
这个作业的目标 学会熟练运用PSP表格进行估计,掌握单元测试的功能

1.相关代码已经上传到GitHub

2.PSP 表格

PSP2.1 Personal Software Process Stages 预估耗时(分钟) 实际耗时(分钟)
Planning 计划 30 30
· Estimate · 估计这个任务需要多少时间 5 5
Development 开发 150 90
· Analysis · 需求分析 (包括学习新技术) 200 240
· Design Spec · 生成设计文档 20 10
· Design Review · 设计复审 10 10
· Coding Standard · 代码规范 (为目前的开发制定合适的规范) 5 5
· Design · 具体设计 30 20
· Coding · 具体编码 120 240
· Code Review · 代码复审 20 10
· Test · 测试(自我测试,修改代码,提交修改) 40 80
Reporting 报告 60 70
· Test Repor · 测试报告 20 20
· Size Measurement · 计算工作量 5 5
· Postmortem & Process Improvement Plan · 事后总结, 并提出过程改进计划 10 10
· · 合计 725 845

3. 模块接口的设计以及实现过程

1. 主要实现类
  • 主类: main方法,主要作用是接收命令行的参数,以及调用工具类执行程序
  • 工具类:计算simHash值的工具类,包括计算海明距离的函数
  • 单元测试:test方法,测试主类以及工具类是否可以正常使用

项目结构:

img

项目流程以及函数间的关系:

img

2. 关键函数的分析与实现

实现函数的需求分析以及解释:

  • 分词:给定一段语句,进行分词,得到有效的特征向量,然后为每一个特征向量设置1-5等5个级别的权重。 例如:“今天天气晴朗,我心情随着好了起来”分词后为“今天/天气/晴朗/,/我/心情/随着/好了起来”,然后为每个特征向量赋予权值,代表这个单词在整条语句中的重要程度,数字越大代表越重要。
  • 计算hash:通过hash函数计算各个特征向量的hash值,hash值为二进制数01组成的n-bit签名。
  • 加权:在hash值的基础上,给所有特征向量进行加权,即W = Hash weight,且遇到1则hash值和权值正相乘,遇到0则hash值和权值负相乘。
  • 合并:将上述各个特征向量的加权结果累加,变成只有一个序列串。
  • 降维:对于n-bit签名的累加结果,如果大于0则置1,否则置0,从而得到该语句的simhash值,最后我们便可以根据不同语句simhash的海明距离来判断它们的相似度。从而形成它们的simhash签名。

算法流程:
img

相关参考连接

4. 性能分析

利用pycharm的插件可以得到耗费时间的几个主要函数排名:
img

由于simHash已经是非常强大的查重算法工具了,所以没有找到优化速度的比较好的方法,故在代码结果方面做了比较大的改进,进一步优化代码结构。

img

5.单元测试

代码展示

img

使用python3自带的unitTest单元测试工具对主函数进行相关样例测试,并模拟了异常处理场景

测试结果

img

写入文件展示:

代码覆盖率

img

由于单元测试不需要输入,所以主函数的代码覆盖率略低

6.异常处理

代码展示

img

如果找不到文件路径,就打印相关错误并结束程序

测试结果:

抄袭文件输入路径错误:
img

源文件输入路径错误:

谢谢观看!

这篇关于论文查重—个人项目的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!