分布式
-
Kafka-副本数量设置
1. ISR副本数量设置 指的是存活的副本数量 ISR 机制的另外一个相关参数是 min.insync.replicas , 可以在 broker 或者主题级别进行配置,代表 IS…
-
Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置
系列文章目录 华为云耀云服务器试用领取 领取的试用云耀云服务器在哪 阿里云服务器免费试用领取 Hadoop3.3.5云耀云服务器安装教程-单机/伪分布式配置 阿里云服务器ECS安装…
-
Kafka安全认证机制详解之SASL
一、概述 官方文档: https://kafka.apache.org/documentation/#security 在官方文档中,kafka有五种加密认证方式,分别如下: SS…
-
Zookeeper注册中心实战
Java学习手册+面试指南:https://javaxiaobear.cn Spring Cloud Zookeeper通过自动配置和绑定到 Spring 环境和其他 Spring…
-
简单实现,在nodejs中简单使用kafka
什么是 Kafka Kafka 是由 Linkedin 公司开发的,它是一个分布式的,支持多分区、多副本,基于 Zookeeper 的分布式消息流平台,它同时也是一款开源的基于发布…
-
Kafka查看消息是否堆积(服务器)
查询消费组 先进入kafka中的bin目录 ./kafka-consumer-groups.sh –bootstrap-server ip:9092 –li…
-
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!)
大数据与云计算——部署Hadoop集群并运行MapReduce集群案例(超级详细!) Linux搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapr…
-
分布式锁(Distributed Lock)介绍(基于数据库(mysql);基于缓存(redis);基于ZooKeeper等分布式协调服务)
文章目录 分布式锁介绍 1. 分布式锁的工作原理 1.1 锁的基本概念 1.2 工作机制 2. 分布式锁的实现方式 2.1 基于数据库的分布式锁 2.2 基于Redis的分布式锁 …
-
私有部署ELK,搭建自己的日志中心(六)– 引入kafka对采集日志进行削峰填谷
一、背景 首先,要说明一点,elk日志中心,是可以缺少kafka组件的。 其次,如果是研发环境下,机器资源紧张的情况下,也是可不部署kafka。 最后,因为kafka的部署是可以独…
-
Zookeeper与Apache Airflow集成与优化
1.背景介绍 Zookeeper和Apache Airflow都是开源的分布式协同系统,它们在大数据和云计算领域具有广泛的应用。Zookeeper是一个高性能的分布式协同服务,用于…
-
【ELK 使用指南 3】Zookeeper、Kafka集群与Filebeat+Kafka+ELK架构(附部署实例)
EFLKK 一、Zookeeper 1.1 简介 1.2 zookeeper的作用 1.3 Zookeeper的特点 1.5 Zookeeper的数据结构 1.6 Zookeepe…
-
Spark相关知识点(期末复习集锦)
嗨喽,最近小伙伴们快要期末考试了吧,下面是我对《Spark零基础实战》的总结,希望能帮助到你们。 一、Spark简介 Spark,拥有hadoop MR所具有的优点,但不同于MR的…
-
Kafka ui 搭建以及使用
Kafka ui 序 kafka 本身没有自带相关的 ui 界面,但是很多时候没有页面意味着只有使用命令行进行相关操作如创建 topic、更改 topic 信息、重置 offset…
-
基于spark的音乐数据分析系统的设计与实现
收藏关注不迷路 文章目录 前言 一、项目介绍 二、开发环境 三、功能介绍 四、核心代码 五、效果图 六、文章目录 前言 本文主要对音乐数据,进行分析,系统技术主要使用,1.对原始数…
-
win10 安装RabbitMQ时 执行:rabbitmq-plugins enable rabbitmq
一、安装rabbitmq之前一定先安装好Eralng并配置好环境变更(这个自行去官方下载适合自己电脑的版本) 二、安装前最好把360、腾讯等电脑管家软件暂时退出 三、下载Rabbi…
