分布式
-
阿里 P7 三面凉凉,kafka Borker 日志持久化没答上来
👏作者简介:大家好,我是爱敲代码的小黄,阿里巴巴淘天Java开发工程师,CSDN博客专家 📕系列专栏:Spring源码、Netty源码、Kafka源…
-
RabbitMQ安装教程(超详细)
本教程是在centos8下试验的,其实linux系统的都差不多 RabbitMQ官方:Messaging that just works — RabbitMQ RabbitMQ是开…
-
Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
说明: 本篇将详细介绍用二进制安装包部署hadoop等组件,注意事项,各组件的使用,常用的一些命令,以及在部署中遇到的问题解决思路等等,都将详细介绍。 1.环境说明 1.1 ip规…
-
RabbitMQ的五种常见消费模型
目录 引言 1. 简单队列模型(Simple Queue Model) 优缺点及适用场景 代码示例 2. 工作队列模型(Work Queue Model) 优缺点及适用场景 代码示…
-
KAFKA (2.12-2.2.1)常用命令和kafka tool 工具使用
KAFKA (2.12-2.2.1)常用命令 查看topic 查看所有topic列表 #集群地址以逗号分隔如 ip1:9092, ip2:9092, ip3:9092 ./kafk…
-
解决RabbitMQ启动报错:Job for rabbitmq-server.service failed because the control process exited with error
1、错误信息 在安装RabbitMQ的时候,发现不管是启动MQ服务还是重启MQ服务,都是报错,报错信息如下: 错误1:Failed to start RabbitMQ broker…
-
【分布式链路追踪技术】sleuth+zipkin
目录 1.概述 2.搭建演示工程 3.sleuth 4.zipkin 5.插拔式存储 5.1.存储到MySQL中 5.2.用MQ来流量削峰 6.联系作者 1.概述 当采用分布式架构…
-
Kafka消费者异常问题解析与解决方案
Kafka是一个分布式流处理平台,它提供了高吞吐量、容错性和可扩展性的特性。然而,有时候在使用Kafka消费者时,可能会遇到一些异常情况。本文将详细讨论几种常见的Kafka消费异常…
-
14、Kafka 请求是怎么被处理的
Kafka 请求是怎么被处理的 1、处理请求的 2 种常见方案 1.1、顺序处理请求 1.2、每个请求使用单独线程处理 2、Kafka 是如何处理请求的? 3、控制类请求和数据类请…
-
掌握Spark的数据序列化和压缩技术
1.背景介绍 在大数据处理领域,Apache Spark作为一个快速、灵活的大数据处理框架,已经成为了许多企业和研究机构的首选。Spark的核心功能包括数据处理、机器学习、图形计算…
-
RabbitMQ – 消息堆积问题的最佳解决方案?惰性队列
目录 一、惰性队列 1.1、消息堆积问题 1.2、消息堆积问题的解决方法 从消费者的角度: 从队列的角度: 1.3、引入惰性队列 1.3.1、什么是惰性队列 1.3.2、惰性队列的…
-
RabbitMQ在Linux上的安装和相关配置
目录 1.RabbitMQ消息队列 2.将Erlang和RabbitMQ的rpm源文件放到第二台装有RabbitMQ服务器的opt文件夹下 3.在Linux中安装Erlang 4….
-
从0到1构建智能分布式大数据爬虫系统
文章目录 1. 写在前面 2. 数据获取挑战 3. 基础架构 4. 爬取管理 5. 数据采集 6. 增量与去重设计 【作者主页】:吴秋霖 【作者介绍】:Python领域优质创作者、…
-
【程序猿包邮送书:第四期】《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》
🌹欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享,与更多的人进行学习交流 爱书不爱输的程序猿:送书第三期 🚩🚩Ƕ…
-
Kafka系列:查看Topic列表、消息消费情况、模拟生产者消费者
1、查看kafka队列中topic信息 1.1、查看所有topic ./kafka-topics.sh –zookeeper 10.128.106.52:2181 –list …
