脚本宝典收集整理的这篇文章主要介绍了软工查重，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

Github链接

一、PSP表格

二、计算模块接口与实现 项目结构：

开发环境： IDEA 2021 (jdk 11)

maven项目引入汉语包：

1、主要实现类

主类： FileUtil： 对文件读取和写入 TokenizerUtil： 使用余弦相似度算法计算文本相似度 FileException： 抛出程序异常 Start：程序主入口

2、使用算法 余弦相似度算法：一个向量空间中两个向量夹角间的余弦值作为衡量两个个体之间差异的大小，余弦值接近1，夹角趋于0，表明两个向量越相似，余弦值接近于0，夹角趋于90度，表明两个向量越不相似。

下面我们介绍使用余弦相似度计算两段文本的相似度。思路：1、分词；2、列出所有词；3、分词编码；4、词频向量化；5、套用余弦函数计量两个句子的相似度。

句子A：这只皮靴号码大了。那只号码合适。 句子B：这只皮靴号码不小，那只更合适。 1、分词： 使用结巴分词对上面两个句子分词后，分别得到两个列表： listA=[‘这‘, ‘只‘, ‘皮靴‘, ‘号码‘, ‘大‘, ‘了‘, ‘那‘, ‘只‘, ‘号码‘, ‘合适‘] listB=[‘这‘, ‘只‘, ‘皮靴‘, ‘号码‘, ‘不小‘, ‘那‘, ‘只‘, ‘更合‘, ‘合适‘]

2、列出所有词，将listA和listB放在一个set中，得到： set={'不小', '了', '合适', '那', '只', '皮靴', '更合', '号码', '这', '大'} 将上述set转换为dict，key为set中的词，value为set中词出现的位置，即‘这’:1这样的形式。 dict1={'不小': 0, '了': 1, '合适': 2, '那': 3, '只': 4, '皮靴': 5, '更合': 6, '号码': 7, '这': 8, '大': 9}，可以看出“不小”这个词在set中排第1，下标为0。

3、将listA和listB进行编码，将每个字转换为出现在set中的位置，转换后为： listAcode=[8, 4, 5, 7, 9, 1, 3, 4, 7, 2] listBcode=[8, 4, 5, 7, 0, 3, 4, 6, 2] 我们来分析listAcode，结合dict1，可以看到8对应的字是“这”，4对应的字是“只”，9对应的字是“大”，就是句子A和句子B转换为用数字来表示。

4、对listAcode和listBcode进行oneHot编码，就是计算每个分词出现的次数。oneHot编号后得到的结果如下： listAcodeOneHot = [0, 1, 1, 1, 2, 1, 0, 2, 1, 1] listBcodeOneHot = [1, 0, 1, 1, 2, 1, 1, 1, 1, 0] 下图总结了句子从分词，列出所有词，对分词进行编码，计算词频的过程

5、得出两个句子的词频向量之后，就变成了计算两个向量之间夹角的余弦值，值越大相似度越高。 listAcodeOneHot = [0, 1, 1, 1, 2, 1, 0, 2, 1, 1] listBcodeOneHot = [1, 0, 1, 1, 2, 1, 1, 1, 1, 0]

根据余弦相似度，句子A和句子B相似度很高。 查看余弦相似度算法

3、代码测试 测试:

结果：

4、异常处理

脚本宝典总结

以上是脚本宝典为你收集整理的软工查重全部内容，希望文章能够帮你解决软工查重所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。