分布式
-
三、Kafka生产者4—核心组件[元数据]-Metadata
概述: 本文主要分享Kafka客户端的元数据如何创建,及其内部结构和对象 一、介绍MetaData 客户端元数据在初始化生产者客户端时被创建,以缓存的形式保存在客户端本地内存中; …
-
Hadoop详解
Hadoop 概念 就是一个大数据解决方案。它提供了一套分布式系统基础架构。 核心内容包含 hdfs 和mapreduce。hadoop2.0 以后引入 yarn. hdfs 是提…
-
kafka-consumer-groups.sh消费者组管理
1.查看消费者列表 –list bin/kafka-consumer-groups.sh –bootstrap-server hadoop102:9092,hadoo…
-
Spark之Dynamic Resource Allocation
文章目录 Dynamic Resource Allocation 请求策略 移除策略 移除存在的问题 相关参数 Dynamic Resource Allocation Spark提…
-
Hadoop的任务调度与资源管理
1.背景介绍 Hadoop是一个分布式文件系统和分布式计算框架,由Google的MapReduce和Google File System(GFS)技术启发。Hadoop的核心组件有…
-
Hadoop分布式集群安装
上一篇大数据文章讲解了在单机上搭建Hadoop-Yarn 伪分布式集群的安装方法,方便大家学习,真实环境不可能只有一台机器,肯定是多节点的集群,大单位还会建设很多H…
-
【spark】
一、Spark是什么 Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 Spark是基于Scala语言开发的。 整个Spark框架模块包含:Spark Core、…
-
消息中间件RabbitMQ
1. 消息队列 1.1. MQ 的相关概念 1.1.1. 什么是MQ MQ(message queue),从字面意思上看,本质是个队列,FIFO 先入先出,只不过队列中存放的内容是…
-
【RabbitMQ】死信(延迟队列)的使用
目录 一、介绍 1、什么是死信队列(延迟队列) 2、应用场景 3、死信队列(延迟队列)的使用 4、死信消息来源 二、案例实践 1、案例一 2、案例二(消息接收确认 ) 3、总结 一…
-
ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.c
文章目录 问题描述: 原因分析: 解决方案: 方法一: 方法二: 问题描述: 开启 ZooKeeper 之后,准备启动 Kafka 服务,结果出现 ERROR Fatal erro…
-
聊聊kafka client性能调优及kafka最佳实践
这里是weihubeats,觉得文章不错可以关注公众号小奏技术,文章首发。拒绝营销号,拒绝标题党 背景 最近在使用kafka的时候遇到了一些性能问题。 所以就打算研究下kafka相…
-
【Hadoop】好用的脚本分享
知识目录 一、写在前面✨ 二、一键安装HA🍭 三、Hadoop一键启动🔥 四、一键启动可视化工具🍭 五、结语🔥 一、…
-
RabbitMQ解决消息丢失以及重复消费问题
文章目录 1、概念 2、基于ACK/NACK机制 2.1 基于Spring AMQP框架整合ACK/NACK机制 2.2 测试消费失败1.0 2.3 测试结果1.0 2.4 测试M…
-
RabbitMQ 消息队列使用
文章目录 MQ 同步调用和异步调用 RabbitMQ 基础概念 模型 简单队列 (Hello-World) 工作队列 (Work Queue) Pub/Sub (Fanout ex…
-
头歌大数据——HBase 伪分布式环境搭建
第1关:HBASE伪分布式环境搭建 编程要求 好了,到你啦,你需要先按照上次实训——HBase单节点安装的方式将HBase安装在/app目录下,然后根据本关知识配置好伪分布式的HB…
