分布式
-
手动修复 rabbitmq 报错 “Crash dump is being written to“
rabbitmq 报错: 2023-11-07 16:38:52.682 [error] emulator Error in process on node ‘rabbit@rab…
-
【新星计划】Kafka分布式发布订阅消息系统
Kafka分布式发布订阅消息系统 目录 Kafka分布式发布订阅消息系统 1. 概述 1.1 点对点消息传递模式 1.2 发布-订阅消息传递模式 1.3 Kafka特点 1.4…
-
第十七章：HBase的查询与索引
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
Spark优化和问题
优化 spark sql 优化 在配置SparkSQL任务时指定executor核心数 建议为4 (同一executor[进程]内内存共享,当数据倾斜时,使用相同核心数与内存量的两…
-
消息队列：RabbitMQ
目录 1、什么是rabbitMQ 1.1、AMQP 1.2几种MQ的对比 编辑 2、快速入门 2.1、安装RabbitMQ（使用虚拟机安装） 2.2、使用RabbitMQ准备 2…
-
kafka中，使用ack提交时，存在重复消费问题
ack提交时，存在重复消费？？ 往consumer监听的topic中，增加了一条数据，但是代码消费了好几次，而且确实也走ack.acknowledge();这块逻辑了，因为处理的逻…
-
依赖Kafka的Go单元测试例解
Kafka[1]是Apache基金会开源的一个分布式事件流处理平台，是Java阵营(最初为Scala)中的一款杀手级应用，其提供的高可靠性、高吞吐量和低延迟的数据传输能力，让其到目…
-
Docker与Kafka：实现高性能流处理
1.背景介绍 1. 背景介绍 Docker 和 Kafka 都是现代技术中的重要组成部分，它们各自在不同领域发挥着重要作用。Docker 是一个开源的应用容器引擎，用于自动化部署、…
-
rabbitmq延时队列相关配置
确保 RabbitMQ 的延时消息插件已经安装和启用。你可以通过执行以下命令来安装该插件： rabbitmq-plugins enable rabbitmq_delayed_mes…
-
Kafka内容分享(七)：Kafka 数据清理和配额限速
目录 一、Kafka中数据清理（Log Deletion） 1.1、日志删除 1.1.1、定时日志删除任务 1.1.2、基于时间的保留策略 1.1.2.1、设置topic 5秒删除…
-
RabbitMQ反序列化失败：Failed to convert message
🎈 1 参考文档 RabbitMQ消费消息坑：failed to convert serialized Message content | jiuchengi-cn…
-
Spark在Windows下的环境搭建及pyspark的使用
一、JDK的安装 Spark是一个用于大数据处理的开源框架，它是用Scala编写的，而Scala是一种运行在Java虚拟机（JVM）上的编程语言，因此它依赖于Java的…
-
Spark核心–RDD介绍
一、RDD的介绍rdd 弹性分布式数据集 是spark框架自己封装的数据类型，用来管理内存数据 数据集： rdd数据的格式 类似Python中 [] 。 hive中的…
-
Kafka——配置文件详解
目录 1、server.properties 2、producer.properties 3、consumer.propertis 4、server.properties模板 1、…
-
HBase的数据备份与恢复
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计，可以存储和管理大量结构化数据。HBase是Hadoop生态系统的一部分，…
