分布式
-
kafka如何避免消息重复消费
Kafka 避免消息重复消费通常依赖于以下策略和机制： 1. Consumer Group ID Kafka使用Consumer Group ID来跟踪每个消费者所读取的消息。确保…
-
RabbitMQ知识
消息队列 为什么要使用消息队列 ①解耦 在未使用消息队列的系统中，系统间耦合性太强。如下图所示的业务场景，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入或者B系统取…
-
Kafka实战：消费指定时间范围内的Kafka Topic数据
Kafka实战：消费指定时间范围内的Kafka Topic数据 在大数据领域，Kafka是一个广泛使用的分布式流数据平台。它提供了高吞吐量、可扩展性和容错性，使得实时数据流处理变得…
-
Structured
结构化编程模型 输出终端/位置 默认情况下，Spark的结构化流支持多种输出方案： 1- console sink: 将结果数据输出到控制台。主要是用在测试中，并且支持3种输出模式…
-
hadoop集群启动master节点jps后没有namenode解决方案
hadoop集群启动jps后没有namenode 启动集群jps后出现： 1.关闭集群 stop-all.sh 2.切换到hadoop的目录下将logs与tmp文件与内容删除并创建…
-
Kafka中的group
Kafka是一种高性能、可扩展的分布式消息系统，被广泛应用于大规模数据流处理的场景。在Kafka中，group_id是一个关键概念，用于实现消息的分组消费。本文将详细介绍group…
-
RabbitMQ 基础
1.初识RabbitMQ 1.1.同步调用 我们现在基于OpenFeign的调用都属于是同步调用，那么这种方式存在哪些问题呢？ 拓展性差 性能下降 级联失败 而要解决这些问题，我们…
-
jmeter集成kafka测试
Kafka的使用 查看kafka的topic ./kafka-topics –bootstrap-server 10.1.9.84:9092 –list 查…
-
Win10 环境下 spark 本地环境的搭建
一、安装配置 java 环境（已有 java 环境则跳过） 所需文件下载 链接：https://pan.baidu.com/s/1OYoeMVHOtcu05jR1mL7LeA …
-
HBase与HadoopYARN集成
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了自动分区、自动同步和故障转移等特性，使其…
-
Spark and SparkR: A Comprehensive Guide to R for Spark Development
1.背景介绍 Spark and SparkR: A Comprehensive Guide to R for Spark Development” 是一本详细的指南，…
-
RabbitMQ 常见问题
1. 如何保证消息顺序消费 在RabbitMQ中，消息最终会保存在队列中，在同一个队列中，消息是顺序的，保持先进先出的原则，这个由Rabbitmq保证。而不同队列中的消息，Rabb…
-
Kafka的工作原理
一、Kafka是什么？ Kafka是一个分布式的基于发布/订阅模式的消息队列。分布式消息队列可以看成是将这种先进先出的数据结构独立部署在服务器上，应用程序可以通过远程访问接口使用它…
-
RabbitMQ面试题
RabbitMQ面试题 RabbitMQ的使用场景 流量消锋 可以通过指定springboot配置参数设置从broker中拉取的消息数量，减少spring与rabbitmq之间的网…
-
RabbitMQ 教程
官网地址： RabbitMQ: easy to use, flexible messaging and streaming — RabbitMQ 教程笔记： RabbitMQ 入门…
