分布式
-
RabbitMQ – 修改日志和数据存放路径
RabbitMQ是一个功能强大的消息中间件,被广泛应用于分布式系统中。默认情况下,RabbitMQ会将日志和数据存储在预定义的路径下。然而,有时候我们希望修改这些路径,以满足特定的…
-
Pytorch 分布式并行DDP 卡死 挂起
问题描述: 1、使用A30显卡,使用分布式并行Distributed Data Parallel,运行程序时显卡显存充满,卡在设置local_rank处,并未启动进程组 2、如图:…
-
Kafka – Broker 详解
目录 零、前置 一、Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 2.Kafka Broker 总体工作流程 模拟 Kafka 上下线,Zo…
-
Centos7安装RabbitMQ与使用(超详细)
Centos7安装RabbitMQ 第一步、安装任何软件包之前,建议使用以下命令更新软件包和存储库 yum -y update 第二步、Erlang在默认的YUM存储库中不可用,因…
-
Kafka的简介及架构
目录 消息队列 产生背景 消息队列介绍 常见的消息队列产品 应用场景 消息队列的消息模型 Kafka的基本介绍 简介 Kafka的架构 Kafka的使用 Kafka的shell命…
-
kafka 分布式的情况下,如何保证消息的顺序消费?
目录 一、什么是分布式 二、kafka介绍 三、消息的顺序消费 四、如何保证消息的顺序消费 一、什么是分布式 分布式是指将计算任务分散到多个计算节点上进行并行处理的一种计算模型…
-
RabbitMQ的几种消息确认机制详细介绍
前言:大家好,我是小威,24届毕业生,在一家满意的公司实习。本篇文章将详细介绍RabbitMQ的几种消息确认机制。 如果文章有什么需要改进的地方还请大佬不吝赐教👏&…
-
Spark与IoT与智能设备
1.背景介绍 随着互联网的普及和技术的不断发展,物联网(IoT)已经成为了我们生活中不可或缺的一部分。智能设备、自动化、大数据等技术已经深入到我们的生活中,为我们提供了更方便、更智…
-
浅析redis setIfAbsent的用法及在分布式锁上的应用及同步锁的缺陷
浅析redis setIfAbsent的用法及在分布式锁上的应用及同步锁的缺陷 一、业务场景:同步锁的问题与分布式锁的应用 1、redis的基本命令 (1)SETNX命令(SET …
-
kafka报错:could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClie
执行kafka命令报错 排查: 命令中的kafka地址和端口是否填写正确 可查看config目录下的server.properties中的listeners=PLAINTEXT:…
-
高可用分布式部署Spark、完整详细部署教程
前言 Spark 是 UC Berkeley AMP Lab 开源的通用分布式并行计算框架。 Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapRed…
-
【Rabbitmq详解】
文章目录 消息中间件 一、何为消息中间件 二、消息队列协议 消息队列持久化 三、持久化 消息的分发策略-高可用高可靠 四、消息分发策略 五、消息分发策略的机制对比 六、消息队列高可…
-
RabbitMQ 部署与配置[CentOS7]
# RabbitMQ,Erlang 版本包对应 https://rabbitmq.com/which-erlang.html#eol-series cd /usr/local/sr…
-
第01讲:大话 Hadoop 生态圈
从故事开始:一个电商平台的用户行为分析需求 最近,就职于一家电商公司的小李遇到了一些麻烦事,因为领导突然给他布置了一个任务,要把他们电商平台里所有的用户在 PC 端和 App 上的…
-
【技术分享】四、RabbitMQ “延时队列”
前言 延时的含义为 等待一段时间,应用到RabbitMQ 消息 发布/订阅 模型中的概念就是,拿到消息后不想立即消费,等待一段时间再执行。 ex: 定时任务:十分钟后执行某种操作。…
