JaCoCo助您毁灭线上僵尸代码

这篇具有很好参考价值的文章主要介绍了JaCoCo助您毁灭线上僵尸代码。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一. 现状·问题

随着需求不断迭代,业务系统的业务代码突飞猛进,在你自豪于自己的代码量产出很高时,有没有回头看看线上真正的客户使用又有多少呢?

费事费力耗费大量人力成本上线的功能,可能一年没人使用,如果不进行适当的下线,就会增加系统维护成本,此时就需要计划删除无用代码。但是我们怎么知道真实线上的一行行代码层面,是否真实在使用,或者真实没人用,怎么可以放心删除下线功能呢!

二. 分析原因

实际上多数业务系统都会存在这个通病:线上僵尸代码

  • 可能是前期产品对业务场景没有分析到位
  • 可能是研发期间需求功能偏离了正确方向
  • 可能是上线后因外界因素使客户业务量下降
  • ······

三. 采取措施

问产品经理哪些能下线?NO 没人敢承诺

观测 UMP接口是否有流量?NO 只知道接口维度,有流量的接口难道所有代码都有用么

使用jacoco(Java Code Coverage)进行线上代码分析,对系统做瘦身。

Jacoco本质上是一个测试覆盖率工具,通过ASM字节码增强技术在源代码中加入探针从而获取代码覆盖率。Jacoco主要是通过Jave agent在main函数执行之前通过指定方法在执行的代码中加入探针来记录代码是否被执行过。

Java agent是Java提供的一个启动参数,有别于代理方式的动态增强和annotation processor的编译时增强,该参数通过指定路径的jar包中的premain方法将在main方法执行之前被调用增强源代码,通过实现该方法我们可以对加载的Class文件进行修改源代码增强,使用此技术的还有大部分APM工具。

https://www.jacoco.org/jacoco/trunk/doc/index.html

四. 实践步骤

4.1 依赖jacoco.ant

在工程内的pom中引入jar依赖

<dependency>
    <groupId>org.jacoco</groupId>
    <artifactId>org.jacoco.ant</artifactId>
    <version>0.8.3</version>
</dependency>
<dependency>
     <groupId>org.apache.ant</groupId>
     <artifactId>ant</artifactId>
     <version>1.9.9</version>
 </dependency>



4.2 赋能Rest请求

添加一个url地址,通过ant执行dump task用于Dump Coverage文件,避免使用配置文件且同时需要运维同事帮忙操作的问题。

@RestController
@RequestMapping("/coverage")
public class CoverageController {

    @PostMapping("dump")
    @NoCheckMenuPermission
    public Result<Boolean> dumpCoverageFile() {
        DumpTask dumpTask = new DumpTask();
        // dump文件地址
        dumpTask.setDestfile(new File("/export/Data/coverage/code-cover.exec"));
        // 多次dump追加形式
        dumpTask.setAppend(true);
        // 选一个空闲接口即可
        dumpTask.setPort(8840);
        // 默认本机
        dumpTask.setAddress("127.0.0.1");
        dumpTask.execute();
        return Result.succeed(true);
    }
}



4.3 嵌入jacocoagent

由于jacoco需要在服务端由jacocoagent增强的jar包,为了避免需要麻烦运维同事,通过maven依赖我们可以发现org.jacoco.agent这个jar包中包含由jacocoagent这个包,所以通过在部署的启动脚本添加以下命令即可通过解压的方式获得该jar包!

java启动参数添加如下:存在多个javaagent时比如pfinder之类在其后添加即可。

#decompress file 解压依赖,获得jacocoagent.jar包,避免需要联系运维上传包
jar -xvf $BASEDIR/lib/org.jacoco.agent-0.8.3.jar



-javaagent:$BASEDIR/bin/jacocoagent.jar=includes=com.jdwl.*,output=tcpserver,port=8840,address=127.0.0.1 -Xverify:none



premain方法中我们可以通过Instrumention的addTransformer添加ClassFileTransformer接口的实现类,该接口中仅有一个方法如下,通过实现ClassTransformer我们可以定义自己的代码增强方法。可以使用ASM,亦可以使用javasist等高级类库。

相关实践:Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli

4.4 JDOS资源预留

资源预留/export目录自定义处理

  • 增加配置脚本 /home/admin/clean_export.sh(脚本默认内容上增加了 && $9 != "coverage"

输出的文件路径为/export/Data/coverage/code-cover.exec

#! /bin/bash

ls -lh /export | awk 'NR >1 {print}' | awk '{if ($9 != "Data") print $9}' | xargs -i /bin/rm -rf /export/{} > /dev/null 2>&1
ls -lh /export/Data | awk 'NR >1 {print}' | awk '{if ($9 != "jdos.jd.com" && $9 != "coverage") print $9}' | xargs -i /bin/rm -rf /export/Data/{} > /dev/null 2>&1



4.5 下载cover文件

/export/Data/coverage/code-cover.exec

登录堡垒机终端

 cd /export/Data/coverage

jdos下载文件

 curl -s up.bastion.jd.com/file/up | bash

4.6 分析代码

打开idea -> run -> show coverage data选择对应的exec文件即可获取服务端的代码覆盖情况。

绿色覆盖(活跃代码)

红色未覆盖(僵尸代码)

Reference

  1. JaCoCo - Documentatio
  2. javaagent使用指南 - rickiyang - 博客园 (cnblogs.com
  3. 使用Jacoco统计服务端代码覆盖情况实践 - M104 - 博客园 (cnblogs.com
  4. Diving Into Bytecode Manipulation: Creating an Audit Log With ASM and Javassist | New Reli

五. 效能提升

5.1 需求交付效率提升

5.1.1 缩短需求交付周期

因为僵尸代码删除,减少开发需求的范围,降低老代码认知成本,降低测试回归成本。

需求交付周期整体呈缩短趋势!2023/1月落地实践,之前需求交付周期约15天,之后约12天。

5.1.2 降低开发阶段停留时长

僵尸代码大量存在,研发认知需求改动点负荷很高,需要耗费大量时间成本。

2023/1月落地后,开发阶段时长缩短到 4天 以下(由 4.54 缩短至 3.11,缩短约31%),呈明显缩短趋势!

5.2 人效提升

5.2.1 降低研发认知负荷

删除无用僵尸代码,圈复杂度会大幅度降低,重复代码块也会降低,则研发认知负荷也会随之降低!

平均系统重复代码块数从 31 下降至 27 左右,降低了系统维护成本!

5.2.2 提升人均需求吞吐量

因为减少人力认知成本,缩小需求范围,所以会直接提升需求的吞吐量!

自从2023/1月落地实践后,人均需求的吞吐量也大幅度提升,从之前 1.5 提升到 2.5 左右。

5.3 过程质量提升

5.3.1 减少自动化bug数

由于存量僵尸代码减少,则整体回滚用例和场景变得精简,黄金流程也不会被僵尸代码干扰,则自动化bug数也有明显下降趋势

随着2023年1月以来的不断实践,自动化发现的bug数也逐月递减,从11个/月 -> 9个/月 -> 6个/月 -> 5个/月。

5.3.2 提升单测覆盖率

自从2023年1月落地实践后,随着删除掉大量僵尸代码,整体代码总量在减少,无效代码被无情下线,同时提升了单测代码覆盖率,呈上升趋势单测行覆盖率从 51.33% -> 52.28%,提升系统质量!

六. 简要总结

  • 随着需求不断迭代交付,业务代码必然不断累积,运维成本不断升高,如果线上无用功能的代码一直残留,对研发来说是巨大的累赘!对于此类代码约定俗成为 “僵尸代码”
  • 赶快利用jacoco探针深入分析系统的一行行代码,看到线上功能运行最真实的一面,参照代码的覆盖情况,针对性下线和删除僵尸代码,让系统瘦身,让研发减负!

作者:京东物流 周奕儒

来源:京东云开发者社区 自猿其说Tech文章来源地址https://www.toymoban.com/news/detail-646478.html

到了这里,关于JaCoCo助您毁灭线上僵尸代码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • maven工程使用jacoco-maven-plugin插件,无法生成覆盖率测试报告问题

    当我们在maven工程中引入maven-surefire-plugin插件执行单元测试代码后,突然发现在集成jacoco-maven-plugin插件生成测试覆盖率报告时,因为插件参数配置问题,发现无法生成测试报告了。 解决方案 此时, 1、我们在jacoco-maven-plugin插件中定于一个属性 propertyNamesurefireArgLine/propertyNam

    2024年02月13日
    浏览(13)
  • 用 Python 实现植物大战僵尸代码!

    plant_frozen_time_list[0] 是太阳花的冷却时间。 植物卡片类 每个植物卡片是一个单独的Card类,用来显示这个植物。 checkMouseClick函数:判断鼠标是否点击到这个卡片; canClick:判断这个卡片是否能种植(有没有足够的点数,是否还在冷却时间内); update 函数:通过设置图片的透

    2024年04月23日
    浏览(8)
  • react 僵尸孩子问题

    React Zombie Child 是指在 React 组件中的一个常见问题。当一个父组件被销毁时,它的子组件可能仍然存在于内存中,这些子组件被称为“僵尸子组件”。 这种情况通常发生在异步操作中,例如在父组件中发起了一个异步请求,而在请求完成之前,父组件被销毁了。但是,由于异

    2024年02月05日
    浏览(12)
  • 线上FullGC问题排查实践——手把手教你排查线上问题

    作者:京东科技 韩国凯 问题起因是我们收到了jdos的容器CPU告警,CPU使用率已经达到104% 观察该机器日志发现,此时有很多线程在执行跑批任务。正常来说,跑批任务是低CPU高内存型,所以此时考虑是FullGC引起的大量CPU占用(之前有类似情况,告知用户后重启应用后解决问题

    2024年02月02日
    浏览(14)
  • 解决 Docker + selenium + chromedriver + chrome 会出现僵尸进程的问题

    在docker里,使用selenium爬虫,  webdriver quit 后,会产生很多僵尸进程。 docker run  - it  - v / home / blackip :/ home / blackips /    selenium : 1.0   python3 linux_black_ip . py top 查看僵尸进程: ps -ef | grep defunct 查看僵尸进程: 僵尸进程的父进程是python3。 看了下chrome运行时的状况,发现开始

    2023年04月24日
    浏览(10)
  • 线上问题排查回答(转载)

    面试官:「你是怎么定位线上问题的?」 这个面试题我在两年社招的时候遇到过,前几天面试也遇到了。我觉得我每一次都答得中规中矩,今天来梳理复盘下,下次又被问到的时候希望可以答得更好。 下一次我应该会按照这个思路去答: 1、如果线上出现了问题,我们更多的

    2023年04月27日
    浏览(20)
  • 线上问题整理

    案例一:服务器内存不足,影响 Java 应用 问题: 收到报警,某 Java 应用集群中一台服务器可用内存不足,超过报警阈值。 排查过程: 首先,通过 Hickwall 查看该应用各项指标,发现无论是请求数量、 CPU 使用率、还是 JMX 的各项指标均未发现异常。仅系统内存占用很高,但是

    2024年01月20日
    浏览(6)
  • 线上Zookeeper问题解决记录

    zookeeper问题: 日志目录:  /home/cmccdata/app/zookeeper/logs dataDir=/home/cmccdata/app/zookeeper/data/zoodata dataLogDir=/home/cmccdata/app/zookeeper/data/zoolog 问题0:    解决方案:     关闭防火墙 问题1: 解决方案: 删除/home/cmccdata/app/zookeeper/data/zoodata/version-2/ 下 currentepoch文件 问题2: 解决方案: 删除/home/

    2024年02月14日
    浏览(10)
  • kafka线上问题优化

    生产者: 使用同步发送 把ack设成1或者all(非0,0可能会出现消息丢失的情况),并且设置同步的分区数=2 消费者:把自动提交改成手动提交 在防止消息丢失的方案中,如果生产者发送完消息后,因为网络抖动,没有收到ack,但实际上broker已经收到了。此时生产者会进行重试

    2024年02月12日
    浏览(18)
  • Linux:进程等待究竟是什么?如何解决子进程僵尸所带来的内存泄漏问题?

     进程等待通常是指: 父进程通过wait()/waitpid()的方式,让父进程对子进程进行资源回收的等待过程!!  进程等待通常是为了解决以下两种情况: 解决子进程僵尸所带来的内存泄漏问题,对僵尸子进程进行资源回收! 原因在于当子进程僵尸后,便“刀枪不入”了。即使是

    2024年04月16日
    浏览(13)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包