代码重复率PHP，终端代码重复率检测实践
背景
当⼀个项⽬在不断开发迭代、功能累加的过程中，重复代码的出现⼏乎是不可避免的。其出现的原因不外乎以下两点：
复制粘贴：这可能是造成代码重复的最⼤因素，其原因也有很多种，可能是跨项⽬的代码拷贝，可能是类似功能的代码拷贝。⽆论如何，这都违背了集中管理的原则，给后续的代码维护增加了⽐较⼤的负担。
对项⽬不了解：新⼈加⼊、业务轮转等原因会让开发⼈员⾯对⼀个全新的项⽬。这种陌⽣的情况下，许多开发⼈员就会产⽣重复造轮⼦的问题，只顾着⾃⼰开发的部分，完全没考虑到项⽬原先的代码状况。
所以对项⽬定期进⾏代码率检测是⼀个很有意义的事，可以帮助开发⼈员发现冗余代码，进⾏代码抽象和重构。
本⽂将介绍代码重复率检测的基本概念以及前端、客户端项⽬中代码重复率检测的实践过程。
基本概念
在《Software Clone Detection and Refactoring》⼀⽂中，对重复代码的类型进⾏了定义：
完全⼀致的代码或者只修改了空格和评论
结构上和句法上⼀致的代码，例如只是修改了变量名
插⼊和删除了部分代码
功能和逻辑上⼀致的代码，语义上的拷贝
很明显越往后，重复代码检测难度越⼤。在实际情况中，我们的检测要求只要⼤致能满⾜前两者就已经⾜够了。
在技术上，重复代码检测主要有以下分类：
基于代码⾏的
基于标识符(token)的
基于度量(metrics)的
基于抽象语法树(Abstract Syntax Tree)的
基于程序依赖图(Program Dependence Graph)的
这些技术细节不是本⽂关注的重点，有兴趣的读者可以查阅相关论⽂进⾏详细了解。
前端代码重复率检测
⼯具
由于前端源代码⽂件格式多样，重复率检测除了源码检测以外，还可以从检测打包⽂件和⽂件退化⾓度考虑。
检测前端代码重复率的⼯具有jsinspect、jscpd，PMD-CPD(PMD's Copy/Paste Detector)中也⽀持js⽂件的重复率检测。
jsinspect⼯具⽀持js和jsx格式的⽂件，基于抽象语法树，可以检测出结构类似的代码块
jscpd⼯具⽀持⽂件格式⼴泛，如java、oc、js、jsx、vue、ts、less等。其重复率判定依据为⼀定长度标识符的MD5值是否相同
PMD-CPD⼯具⽀持js⽂件检测，也可以⾃⼰开发扩展包来解析指定的语⾔：官⽅介绍
每个⼯具各有其优缺点，若只需要检测js或jsx⽂件，且对检测结果要求较⾼，可以选择jsinspect或者PMD-CPD⼯具，若考虑检测⼯具的通⽤性，可以选择jscpc⼯具。
经过分析
检测打包⽂件⽅案，若有多个打包⽂件，⽆法区分跨⽂件的重复代码是源代码重复还是由于打包⽣成的，因此不太适合。
⽂件退化⽅案，jsx⽂件转换成js⽂件可以进⾏检测，但vue或less等包含css的⽂件格式⽆法检测。退化成纯⽂本的检测⼯具有商业收费的simian。
为了适应多种前端代码⽂件，本团队⽬前选择jscpd作为前端代码重复率检测⼯具。对于重复率要求较严格的项⽬，可以使⽤jsinspect针对js(x)⽂件进⾏进⼀步检测。
使⽤⽅法
jscpd⼯具可以在本地使⽤，也可以集成在gulp中。
本地检测
npm安装
npm install jscpd -g
复制代码在项⽬⽬录配置.cpd.yaml⽂件，配置参考
#.cpd.yaml
languages:
- javascript
- typescript
- jsx
- vue
- css
files:
- 'src/**'
-
'less/**'
exclude:
- 'dist/**'
- 'dest/**'
- 'neurons/**'
- 'node_modules/**'
- 'test/**'
- 'data/**'
- 'css/**'
- 'entries/**'
reporter: xml
xsl-href: '/Users/dianping/dp/f2e-cpd/reporters-xslt/simple.xsl'
limit: 100
min-tokens: 70
min-lines: 5
output: '/Users/dianping/dp/l'
复制代码
其中languages值对应的⽂件后缀如下：
TokenizerFactory.prototype.LANGUAGES = {
javascript: ['js', 'es', 'es6'],
typescript: ['ts', 'tsx'],
jsx: ['jsx'],
haxe: ['hx', 'hxml'],
coffeescript: ['coffee'],
ruby: ['rb'],
php: ['php', 'phtml'],
python: ['py'],
css: ['less', 'css'],
sass: ['scss'],
java: ['java'],
csharp: ['cs'],
go: ['go'],
clike: ['cpp', 'c', 'm', 'h'],
htmlmixed: ['html', 'htm'],
yaml: ['yaml', 'yml'],
erlang: ['erl', 'erlang'],
swift: ['swift'],
xml: ['xml', 'xsl', 'xslt'],
puppet: ['pp', 'puppet'],
twig: ['twig'],
vue: ['vue']
};
复制代码命令⾏⼯具
所有配置参数也可以直接在终端命令⾏中以参数形式附加。
查看结果
执⾏jscpd命令⾏，在终端可以看到简要的重复代码位置，以及总的重复率计算结果。指定verbose参数，可以看到重复代码块。
jscpd⽀持输出xml和json两种格式的报告⽂件，为了便于查看重复代码块，建议输出xml格式⽂件，配置xsl模板后在浏览器中具有较⾼的可读性。
xml格式
执⾏jscpd命令后，若有配置 output 参数，将会在指定地址⽣成⽂件。可⽤浏览器查看。
为了便于阅读，可以配置 xsl-href 参数，指定xsl模板，应⽤对应模板的xml⽂件在浏览器中具有较⾼的可读性，效果如下：
xsl模板可以⾃⼰编写，官⽅github也提供了⼀份简单的xsl⽂件。
gulp集成
安装
npm install gulp-jscpd
复制代码使⽤
在gulp.js中添加以下任务，配置参考
var jscpd = require('gulp-jscpd');
gulp.task('jscpd', function(){
return gulp.src([path.join(__dirname, 'src/**'), path.join(__dirname, 'less/**')])
.pipe(jscpd({
'min-lines' : 5,
'min-tokens': 70,
reporter : 'xml',
languages : ['javascript', 'jsx', 'css'],
output : '/Users/dianping/dp/l',
verbose : false,
debug : false,
silent : false,
failOnError : false,
'xsl-href' : '/Users/dianping/dp/f2e-cpd/reporters-xslt/simple.xsl'
}));
});
复制代码值得注意的是，failOnError配置项指定检查完毕后是否抛出错误，默认true，会终⽌打包流程。在CI中，若不希望重复率检查停⽌正常打包，应指定为false。
客户端代码重复率检测
⼯具
对于客户端代码⽽⾔，由于有iOS和Android两个平台，所以需要考虑⼯具的通⽤性，必须⽀持objective-C和java两种语⾔。
基于以上原因，最后选择的⼯具是PMD-CPD(PMD's Copy/Paste Detector)。此⼯具使⽤的是Karp-Rabin字符串匹配算法，⽀持gui，⽀持命令⾏，输出格式⽀持text、xml、csv等，可以很好的配合脚本语⾔进⾏⼆次开发，对重复率数据进⾏统计。
使⽤⽅法
从官⽹下载PMD⼯具，其中已经包含CPD，下载地址：官⽹地址
解压后可以在bin⽂件夹下看到对应的⼯具
以linux为例，使⽤以下命令就可以打开CPD⼯具的gui。
目前行的php开发工具有
./run.sh cpdgui
复制代码如果需要配合⾃定义脚本使⽤，可以选择命令⾏⼯具，可以指定相应的参数，例如tokens、⽬录、语⾔、输出格式等等。详细的参数列表请参考官⽅⽂档
./run.sh cpd --minimum-tokens 100 --files /usr/local/java/src/java --language java --format xml
复制代码
思考
⼯具的使⽤本⾝是⽐较简单的，更多的是针对不同项⽬进⾏相应的定制。可能需要考量的点有如下⼏个：
tokens和有效率的平衡： tokens是⼯具的⼀个参数，可以理解为对重复代码长度定义的标准。所以当tokens越⼩，检查到的重复代码数量更多、覆盖⾯越⼤，但相应的有效率就会降低，产⽣较多的误报情况。反之则有效率较⾼，但覆盖率就会相应降低，会有所遗漏。对tokens的选择依赖于项⽬的语⾔、框架等因素，在⼯具使⽤初期可以进⾏多次测试⽐较确定合适的tokens值。
脚本定制：使⽤其他脚本语⾔例如python、ruby等进⾏相应的定制，把代码重复率检查包装成为⼀个
⾃动化⼯具。重复率检查⼯具例如PMD-CPD本⾝也不具备统计功能，所以脚本还可以帮助把最后的检查结果进⾏量化。
重复率标准：对于⽐较独⽴、规模不⼤的项⽬，刚开始检查时，5%可能是⼀个⽐较合适的值。当然重复率标准的制定需要参考的因素有很多，例如tokens、项⽬、架构、时间等等。
参考⽂献
Fontana F A, Zanoni M, Ranchetti A, et al. Software Clone Detection and Refactoring[J]. Isrn Software Engineering, 2013, 2013(2013).

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。