记一次线上kafka重复消费的问题解决及思考

• 大数据

目录

  • 问题
  • 排查原因
    • 生产者原因
    • 消费者可能原因
      • 1. 重复消息被分到同一消费者的同一批次处理
      • 2. 重复消息被分到同一消费者的不同批次处理
      • 3. 重复消息被几乎同时分到不同消费者处理
  • 解决方案
    • 1.对批量消息进行去重
    • 2. 对分配到不同消费者的消息进行redis去重
    • 3. 生产者在发送消息前先进行路由分区
  • 消费超时发送重平衡导致重复消费
    • kafka消费原理简介
      • enable.auto.commit
      • auto.commit.interval.ms
      • session.timeout.ms
      • max.poll.interval.ms
      • max.poll.records
      • 重复消费原因
      • 解决办法
  • 其他
    • poll(5000)中5000的含义
    • 如果poll处理时发生异常怎么办？

问题

线上ELK日志发现kafka消费者消费到重复消息

排查原因

生产者原因

由于生产方本身就发送了重复的消息，导致消费到重复消息

消费者可能原因

消费方采用的是循环poll的模式，具体是在多线程分租户去批量处理的消息

                while(true) {
   
                    ConsumerRecords consumerRecords;
                    do {
   
                        consumerRecords = this.consumer.poll(60000L);
                    } while(consumerRecords == null);

                    if (!consumerRecords.isEmpty()) {
   
                        long beginTime = System.currentTimeMillis();
                        Map recordMap = this.consumerHandler.slice(consumerRecords);
                        List

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/a91b87709e.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐

  • Lua语法基本使用 前端

    Lua语法基本使用

    🍓 简介：java系列技术分享(👉持续更新中…🔥) 🍓 初衷:一起学习、一起进步、坚持不懈 🍓 如果…

    1天前
  • h5键盘弹起遮挡输入框的处理 前端

    h5键盘弹起遮挡输入框的处理

    一、前言： 混合开发中遇到一个问题，有些型号的安卓机和ios机型，输入框唤起键盘后，输入框会被键盘遮挡，需要手动滑动才能漏出来，影响用户体验 二、解决办法: 1.ios和andro…

    1天前
  • 15套前端经典实战项目大合集，小白练手必备实战项目 前端

    15套前端经典实战项目大合集，小白练手必备实战项目

    15套前端经典实战项目大合集，悄悄练习，你会惊艳所有人。 今日我以内卷为荣，明日内卷以我为荣，不管学习哪门语言都要做出实际的东西来，这个实际的东西就是项目。 这里整理了15前端经典…

    1天前
  • idea中yml文件没有提示解决办法 前端

    idea中yml文件没有提示解决办法

    两步解决yml文件不显示提示，yaml文件显示提示问题 1、在插件中心，先下载下图两个插件 2、在Editor=》File Types新增文件类型，文件名匹配规则需要将yaml和y…

    1天前

  • [lighttpd]lighttpd配置http强制跳转https

    参考链接 HowToRedirectHttpToHttps – Lighttpd – lighty labs lighttpd版本 / # lighttpd…

    前端 1天前

  • 【开发工具】从eclipse到idea的过度

    背景 随着eclipse相比以前性能慢了不少，idea在开发工具领域越战越猛，市场份额也逐年增加，其体验得了软件工程师的热爱。 概要 本文只是做了一个简要的记录，简单描述下本人从e…

    前端 1天前
  • 橘子学ES实战操作01之集群模式如何实现快照备份 前端

    橘子学ES实战操作01之集群模式如何实现快照备份

    我们知道ES中通过副本在一定意义上实现了数据的备份和高可用。但是我们说万一副本数据丢失了，不小心被rm -f了，你就说逆天不逆天吧，此时要实现数据真正意义上的备份就要使用到快照机制…

    1天前
  • Java-IDEA 启动Tomcat控制台中文乱码解决 前端

    Java-IDEA 启动Tomcat控制台中文乱码解决

    1、中文乱码原因   基本上大家安装的windows系统本地语言都是选择中文（不会有人选择英文吧？不会吧？不会吧？），也就是GBK编码；而IDEA或者Tomcat日志使用的是UTF…

    1天前

  • ES如何搜索两个索引

    在Elasticsearch（ES）中，索引是存储和查询数据的地方，而联合查询是查询多个索引的能力。当你在ES中查询时，可以指定要查询的索引。 如果你要查询两个不同的索引，你可以在…

    前端 1天前
  • Metaphor（EXA） 基于大语言模型的搜索引擎 前端

    Metaphor（EXA） 基于大语言模型的搜索引擎

    文章目录 关于 Metaphor 使用示例 关于 Metaphor Metaphor是基于大语言模型的搜索引擎，允许用户使用完整的句子和自然语言搜索，还可以模拟人们在互联网上分享和…

    1天前