分布式

（1）实验原理 使用Java API操作HDFS的实验原理如下： 配置Hadoop环境：首先需要配置Hadoop的环境，包括设置Hadoop的安装路径、配置core-site.xm…

Not management user 翻译成中文即为非管理用户非管理用户无法登录管理控制台因而报出这个错误。 虽然我登录的是guest用户因为账号guest具有所有的操作权限当然…

「Kafka」生产者篇 生产者发送消息流程 在消息发送的过程中，涉及到了 两个线程 ——main 线程和Sender 线程。 在 main 线程中创建了 一个 双端队列 Recor…

文章目录 ⛄引言 一、DSL查询文档 ⛅DSL 查询分类 二、DSL查询实例 ⛅全文检索查询 ⏰精确查询 ⚡地理坐标查询 ⌚复合查询 ⛵小结 ⛄引言 本文参考黑马 分布式Elast…

kafka-shell工具 背景 日志 log 一.启动kafka->(start-kafka) 二.停止kafka->(stop-kafka) 三.创建topic-&…

kafak是我们工作中常用的消息组件，今天在跟合作方联调的时候被告知上游没有准备好消息数据，没有办法从依赖方拿到消息但是我们还又想测试自己写的消息消费的代码，怎么办呢？常规的做法就…

Controller 一、概念 在Kafka中，Controller是Kafka集群中的一个角色，负责管理集群的元数据、分区分配、副本管理等功能。 Controller的主要职责包…

出现错误： Hadoop启动时出现错误：Cannot execute /home/hadoop/libexec/hadoop-config.sh. 原因分析 ＇ERROR: Can…

作者：源码时代-Raymon老师 Kafka的高吞吐、低延时、高性能的实现原理 Kafka是大数据领域无处不在的消息中间件，目前广泛使用在企业内部的实时数据管道，并帮助企业构建自己…

目录 一、Hadoop 1、文件系统 1.1、文件系统定义 1.2、传统常见的文件系统 1.3、文件系统中的重要概念 1.4、海量数据存储遇到的问题 1.5、分布式存储系统的核心属…

本文主要分享了如何给项目中的RabbitMQ添加总开关，通过简单配置开/关RabbitMQ。 一、需求背景 SpringBoot项目里使用了RabbitMQ，但某些场景下，不希望项…

                                                                          💧 分布式流控组…

0、环境信息         本文采用阿里云maxcompute的spark环境为基础进行的，搭建本地spark环境参考搭建Windows开发环境_云原生大数据计算服务 MaxCo…