链路追踪( Skyworking )

作用和背景

随着业务规模的不断的增大, 系统的复杂度也越来越高, 我们的软件架构也进入到了分布式的阶段, 服务按照不同的维度进入到了分布式的阶段, 服务按照不同的维度进行拆分, 每一次的请求可能跨越多个微服务, 这样就导致我们每一次请求都有可能出现异常. 传统的日志监控方式无法满足调用链路追踪, 这就导致定位/诊断服务异常变得异常复杂.

1）功能性需求：

① 请求链路追踪，快速定位故障，缩短故障的排除时间以及判断故障影响范围 ② 可视化链路各阶段的耗时，进行性能分析，排除业务瓶颈 ③ 梳理服务依赖关系以及优化依赖的合理性 ④ 系统指标监控，吞吐量（TPS）、响应时间及错误记录等。（2）非功能性需求：

探针的性能消耗：服务调用埋点本身会带来性能损耗，这就需要组件对业务系统的性能影响小代码的侵入性：对业务系统尽可能少入侵或者无入侵其他，对于使用方透明，减少开发人员的负担。

Skywalking 简介：

skywalking 是一个优秀的国产开源APM组件，是一个对 Java 分布式应用程序集群的业务运行情况进行追踪、告警和分析的系统。2015年由个人吴晟开源， 2017年加入Apache孵化器。短短两年就被Apache收入麾下，实力可见一斑。

skywalking 支持 SpringBoot、SpringCloud、dubbo 集成，代码无侵入，通信方式采用 GRPC，性能较好，实现方式是 Java 探针，支持告警，支持JVM监控，支持全局调用统计等等，功能较完善。

Skywalking 安装:

在官方下载两个压缩包

链路追踪( Skyworking )

下载完之后在本机上面运行, 将两个压缩包压缩到一个没有中文路径的文件中

链路追踪( Skyworking )

接下来进入到skywaliking-apm的包下, 进入wenapp下

链路追踪( Skyworking )

更改application.yml文件中的路径, 8080可以进行更改,也可以不更改, 下面的12800因为是在本机运行,所以我们的地址就不用动( 虚拟机的话改为自己虚拟机的地址 )

链路追踪( Skyworking )

进入到bin的文件中, 双击startup.bat启动, 就OK了( 服务器的话启动startup.sh就OK了 )

链路追踪( Skyworking )

解压命令: tar -zxvf 名字

镜像的启动和安装

安装skywalking-oap-server:

docker run \
--name skywalking-oap \
--restart always \
-p 11800:11800 \
-p 12800:12800 -d \
--privileged=true \
-e TZ=Asia/Shanghai \
-e SW_STORAGE=elasticsearch7 \
-e SW_STORAGE_ES_CLUSTER_NODES=182.42.92.23:9200 \
-v /etc/localtime:/etc/localtime:ro \
apache/skywalking-oap-server:8.6.0-es7

安装skywalking-ui

docker run \
--name skywalking-ui \
--restart always \
-p 8081:8080 -d \
--privileged=true \
--link skywalking-oap:skywalking-oap \
-e TZ=Asia/Shanghai \
-e SW_OAP_ADDRESS=182.42.92.23:12800 \
-v /etc/localtime:/etc/localtime:ro \
apache/skywalking-ui:8.6.0

idea的应用:

只需要在idea的springboot配置中增加

# 指定服务的状针的路径
-javaagent:E:\apache\skywalking-agent\skywalking-agent.jar
# 指定服务的名称
-DSW_AGENT_NAME=skywalking-bawei-system
# 指定它的端口( 服务器就用服务器的端口 )
-DSW_AGENT_COLLECTOR_BACKEND_SERVICES=101.43.11.8:11800

日志的采集

在主项目中加入记录日志的一个依赖


            
                org.apache.skywalking
                apm-toolkit-logback-1.x
                8.10.0
            
            
                org.apache.skywalking
                apm-toolkit-trace
                8.10.0

在每一个springcloud微服务中添加一个logback.xml的一个日志的文件

链路追踪( Skyworking )

然后再日志里面加上以下代码

   
    
    
    
    
    

    
    　　　　　
        
            
                ${PATTERN_DEFAULT}
            
        
    

    
    
    
        
            
                ${PATTERN_DEFAULT}
            
        
        
        ${LOG_FILE}
        
            
            ${LOGBACK_ROLLINGPOLICY_FILE_NAME_PATTERN:-${LOG_FILE}.%d{yyyy-MM-dd}.%i.gz}
            
            ${LOGBACK_ROLLINGPOLICY_CLEAN_HISTORY_ON_START:-false}
            
            ${LOGBACK_ROLLINGPOLICY_MAX_FILE_SIZE:-10MB}
            
            ${LOGBACK_ROLLINGPOLICY_TOTAL_SIZE_CAP:-0}
            
            ${LOGBACK_ROLLINGPOLICY_MAX_HISTORY:-30}
        
    
    
    
        
        0
        
        256
        
    

    
    
        
            
                ${PATTERN_DEFAULT}

然后启动项目如下图出现一些标志,说明已经成功了

链路追踪( Skyworking )

springclod-gateway(网关的配置)的使用

Skyworking 默认是不支持网关的, 需要在skywalking-agent文件中进行一些配置, 如下图

链路追踪( Skyworking )

找到这两个包, 进行一个配置, gateway的包有版本,根据自己项目当中使用的gateway版本如下图

链路追踪( Skyworking )

我使用的是3.4的, 所以把它的jar移动到plugins文件中去 plugins是支持的插件 optional-plugins是可选的插件

链路追踪( Skyworking )

这样网关就可以在链路追踪上面显示了

链路追踪( Skyworking )

性能监控

1、查看 config/alarm-settings.yml文件

查看 config/alarm-settings.yml文件，Skywalking提供了一些默认的规则，只要我们的应用服务请求符合 alarm-setting.yml文件中的某一条规则就会触发告警通知。

rules:
  # Rule unique name, must be ended with `_rule`.
  service_resp_time_rule:
    metrics-name: service_resp_time
    op: ">"
    threshold: 1000
    period: 10
    count: 3
    silence-period: 5
    message: Response time of service {name} is more than 1000ms in 3 minutes of last 10 minutes.
  service_sla_rule:
    # Metrics value need to be long, double or int
    metrics-name: service_sla
    op: "<"
    threshold: 8000
    # The length of time to evaluate the metrics
    period: 10
    # How many times after the metrics match the condition, will trigger alarm
    count: 2
    # How many times of checks, the alarm keeps silence after alarm triggered, default as same as period.
    silence-period: 3
    message: Successful rate of service {name} is lower than 80% in 2 minutes of last 10 minutes

metrics-name：度量名称，也是OAL脚本中的度量名。默认配置中可以用于告警的度量有：服务，实例，端点，服务关系，实例关系，端点关系。它只支持 long，double和 int类型。 op：操作符。 threshold：阈值。 period：多久告警规则需要被检查一下。这是一个时间窗口，与后端部署环境时间相匹配。 count：在一个周期窗口中，如果按op计算超过阈值的次数达到count，则发送告警 silence-period：在时间N中触发报警后，在N -> N + silence-period这段时间内不告警。 message：该规则触发时，发送的通知消息。

默认报警规则：它包括以下规则：

过去 3 分钟内服务平均响应时间超过 1 秒。最后2分钟服务成功率低于80%。过去 3 分钟内超过 1 秒的服务响应时间百分比服务实例最近 2 分钟平均响应时间超过 1 秒，并且实例名称与正则表达式匹配。过去 2 分钟内端点平均响应时间超过 1 秒。过去 2 分钟内数据库访问平均响应时间超过 1 秒。过去 2 分钟内端点关系平均响应时间超过 1 秒。

测试告警

在应用服务中编写一个接口（慢查询）来测试告警。

 @GetMapping("/timeout")
    public UserDO timeout(Long seconds) throws InterruptedException {

        if(seconds == null){
            throw new RuntimeException("seconds 不能为空");
        }
        #测试他的时长
        TimeUnit.SECONDS.sleep(seconds);
        UserDO userDO = userService.getById(11L);
        return userDO;
    }

创建一个监控的springboot的项目进行一个监控

链路追踪( Skyworking )

创建一个监控的controller的类来进行发送消息的警告处理代码如下

package com.bwie.monder.controller;

import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.mail.javamail.JavaMailSender;
import org.springframework.mail.javamail.MimeMessageHelper;
import org.springframework.web.bind.annotation.RequestBody;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import javax.mail.internet.MimeMessage;

/**
 * @ClassName: SkywalkingAlarmController
 * @Description:
 * @Description:
 * @Author: YourName
 * @Date: 2023/6/7
 */
@RestController
@RequestMapping("/sw/alarm")
public class SkywalkingAlarmController {

    /**
     * Skywalking告警通知回调接口：http://127.0.0.1:18081/sw/alarm/notify/
     *
     * @param obj
     * @return
     */
    @RequestMapping("/notify")
    public String notify(@RequestBody Object obj) {
        // TODO 将告警信息通知给负责人。比如：通过发短信，钉钉消息，邮件，微信通知等方式发送给技术负责人
        System.err.println("收到Skywalking告警信息：" + obj.toString());
        return "notify successfully";
    }

    /**
     * 发送邮件
     *
     * Skywalking告警通知回调接口：http://127.0.0.1:18081/sw/alarm/notify2/
     *
     * @param obj
     * @return
     */
    @RequestMapping("/notify2")
    public String notify2(@RequestBody Object obj) {
        // TODO 将告警信息通知给负责人。比如：通过发短信，钉钉消息，邮件，微信通知等方式发送给技术负责人
        System.err.println("notify2 收到Skywalking告警信息：" + obj.toString());

        sendSimpleMail("2259826937@qq.com", "Skywalking告警信息", obj.toString());
        return "notify successfully";
    }

    private static final String SENDER = "2259826937@qq.com";
    @Autowired
    private JavaMailSender javaMailSender;

    /**
     * 发送普通邮件
     *
     * @param to      收件人邮箱
     * @param subject 主题（标题）
     * @param content 内容
     */
    public void sendSimpleMail(String to, String subject, String content) {
        // 发生邮件
        MimeMessage mimeMessage = javaMailSender.createMimeMessage();
        try{
            MimeMessageHelper mimeMessageHelper = new MimeMessageHelper(mimeMessage, true);
            mimeMessageHelper.setFrom(SENDER);
            mimeMessageHelper.setTo(to);
            mimeMessageHelper.setSubject(subject);
            mimeMessageHelper.setText(content);
            javaMailSender.send(mimeMessage);
        }catch (Exception e){
            e.printStackTrace();
        }
    }

}

配置回调接口

在 config/alarm-settings.yml中配置回调接口（我们应用服务的接口），并重启 skywalking服务。

webhooks:
#  - http://127.0.0.1/notify/
#  - http://127.0.0.1/go-wechat/
  - http://127.0.0.1:18081/sw/alarm/notify/
  - http://127.0.0.1:18081/sw/alarm/notify2/

配置完成之后, 将监控服务进行一个启动来进行监控( 注意, 它监控到异常之后, 它是一个异步的一个操作, 不要慌 )

链路追踪( Skyworking )

等一会, 就会出现报警信息, 并开始进行发送邮件的操作, 这样告警服务就OK了

SkyWalking自定义链路追踪

第一步, 在项目当中导入一个依赖

     
        
            org.apache.skywalking
            apm-toolkit-trace
            8.12.0

第二步，将@Trace注解加入到Service层的方法上

@Service
@Slf4j
public class OrderServiceImpl implements OrderService {

    @Autowired
    private OrderMapper orderMapper;

    @Autowired
    private StockFeignService stockFeignService;

    @Override
    @GlobalTransactional
    @Trace
    public void addOrder(Order order) {
        // 创建订单
        orderMapper.addOrder(order);

        // 扣减库存
        stockFeignService.deduction(order.getProductId());
        log.info("远程服务调用扣减库存");
    }
}

接下来重启服务，调用接口，再查看SkyWalking的链路追踪

如果想在SkyWalking的追踪菜单中看这个方法的入参与出差的话，就可以使用@Tag或者@Tags注解

@Override
@Trace
@Tag(key = "result", value = "returnedObj")
public List getAll() {
    return orderMapper.getAll();
}   

@Override
@Trace
@Tags({@Tag(key = "param", value = "arg[0]"),
       @Tag(key = "result", value = "returnedObj")})
public Order get(Integer id) {
    return orderMapper.getById(id);
}

链路追踪( Skyworking )