分布式
-
HBase常用命令(超全超详细)
目录 连接HBase 连接HBase并查看版本 帮助命令 查看服务器状态 查看当前数据库中有哪些表 命名空间 列出所有命名空间 新建命名空间 删除命名空间 修改命名空间 创建表 列…
-
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!
【hadoop】解决浏览器不能访问Hadoop的50070、8088等端口?!😎 前言🙌 【hadoop】解决浏览器不能访问Hadoop的50070…
-
RabbitMQ创建新用户,并给用户添加角色和授权
一、进入容器 1.1 查看运行容器的详细信息 docker ps -a 1.2 进入容器命令 docker exec -it 容器ID /bin/bash 或 docker e…
-
LLM-分布式训练工具(一):DeepSpeed【微软】【大模型分布式训练工具,实现ZeRO并行训练算法】【zero3配置将模型参数切分后分配到不同的显卡中,突破单张显卡容量不足以加载模型参数的限制】
DeepSpeed是微软推出的大规模模型分布式训练的工具,主要实现了ZeRO并行训练算法。 原始文档链接: DeepSpeed 一、DeepSpeed目前支持的功能 Optimiz…
-
Hadoop3.x完全分布式环境搭建Zookeeper和Hbase
集群规划 IP地址 主机名 集群身份 192.168.138.100 hadoop00 主节点 192.168.138.101 hadoop01 从节点 192.168.138.1…
-
【Hadoop】图解 Hadoop 生态系统及其组件
图解 Hadoop 生态系统及其组件 1.HDFS2.MapReduce3.YARN4.Hive5.Pig6.Mahout7.HBase8.Zookeeper9.Sqoop10.F…
-
Zookeeper-一致性协议ZAB
ZAB协议介绍 ZAB 协议全称:Zookeeper Atomic Broadcast(Zookeeper 原子广播协议)。 Zookeeper 是一个为分布式应用提供高效且可靠的…
-
prometheus监控kafka
一、前言 关于对kafka的监控,要求高的话可以使用kafka-exorter和jmx-exporter一起收集监控数据,要求不高的情况下可以使用kafka-exporter…
-
rabbitMq怎么查看队列消息-Tracing日志
Trace 是Rabbitmq用于记录每一次发送的消息,方便使用Rabbitmq的开发者调试、排错。 1、启动Tracing插件 在RabbitMQ中默认是关闭的,需手动开启。此处…
-
深入理解 Hadoop (五)YARN核心工作机制浅析
深入理解 Hadoop (一)网络通信架构与源码浅析 深入理解 Hadoop (二)HDFS架构演进 深入理解 Hadoop (三)HDFS文件系统设计实现 深入理解 Hadoop…
-
zookeeper:启动后占用8080端口问题解决
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务。它为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 我们经常在运行z…
-
RabbitMq异步请求+Redis轮询解决响应时间过长
RabbitMq异步请求+Redis轮询解决响应时间过长 如果还没有学习Rabbit的建议去学一下我的另一篇RabbitMq的使用再来看这个实际的使用` **当前问题:**处理时间…
-
【大数据】Hadoop
目录 前言 一、概述 1. MapReduce定义、优缺点 2. MapReduce核心思想、进程 3. MapReduce编程——WordCount 二、Hadoop序列化 1….
-
【分布式和微服务1】一篇文章详细了解分布式和微服务的基本概念
目录 一、系统高可用(High Availability) (1) 啥是 “高可用” ? (2) 集群是啥意思? ① 主备模式 ② 主从模式 ③ 高可用模式 ④ 总结 (3) 分布…
-
RabbitMQ-常用命令
RabbitMQ常用命令 3.1 启动停止rabbitMQ命令 # 前台启动Erlang VM 和 RabbitMQ 当窗口关闭或者ctrl+c时,使退出了。 rabbitmq-s…
