分布式
-
RabbitMQ与SpringAMQP
MQ,中文是消息队列(MessageQueue),字面来看就是存放消息的队列。也就是事件驱动架构中的Broker。(经纪人!) 1.RabbitMQ介绍 微服务间通讯有同步和异步两…
-
Kafka(二)【文件存储机制 & 生产者】
目录 一、Kafka 文件存储机制 二、Kafka 生产者 1、生产者消息发送流程 1.1、发送原理 2、异步发送 API 2.1、普通异步发送 案例演示 2.2、带回调函数的异步…
-
docker安装RabbitMQ教程(2023年最详细)
1.使用docker查询rabbitmq的镜像 docker search rabbitmq 2.安装镜像 如果需要安装其他版本在rabbitmq后面跟上版本号即可 docker…
-
分布式数据库 GaiaDB-X 金融应用实践
1 银行新一代核心系统建设背景及架构 在银行的 IT 建设历程中,尤其是中大行,大多都基于大型机和小型机来构建核心系统。随着银行业务的快速发展,这样的系统对业务的支持越来越举步维艰…
-
结合案例详细说明Spark的部分调优手段
当谈到优化 Apache Spark 应用程序时,有一些更加详细和具体的优化策略和技术,可以帮助提高性能并最大化集群资源利用。以下是更详细的 Spark 调优方法: 资源配置与管理…
-
Kafka的集群动态扩容和缩容如何实现?Kafka的数据存储机制如何优化性能?Kafka消息的持久化机制是怎样的?Kafka和Spark Streaming如何集成?
1、Kafka的集群动态扩容和缩容如何实现? Kafka的集群动态扩容和缩容可以通过以下步骤实现: 扩容: 在集群中添加新的Kafka节点。这可以通过将新的机器添加到集群中,并配置…
-
RabbitMQ详解(三):消息模式(fanout、direct、topic、work)
消费模式 参考官网:https://www.rabbitmq.com/getstarted.html 简单模式 Simple, 参考RabbitMQ详解(二):消息模式 Simpl…
-
大数据开发之kafka(完整版)
第 1 章:Kafka概述 1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列,主要应用于大数据实时处理领域。 发布/订阅:消息的发布者不会将消息直接发送给特定的订…
-
rabbitMQ rascal/amqplib报错 Error: Unexpected close 排查
以下是一些可能导致此 RabbitMQ 客户端或任何其他 RabbitMQ 客户端中的套接字读取或写入失败的常见场景 1.错过(客户端)心跳 第一个常见原因是RabbitMQ 检测…
-
Hadoop高可靠集群搭建步骤(手把手教学)【超级详细】
Hadoop高可靠集群搭建步骤(手把手教学) 【超级详细】 文章目录 1 HA集群基础配置 1.1 创建系统为Centos7(Linux)的虚拟机 1.2 基本网络配置 1.3 连…
-
Kafka篇——Kafka消费者端常见配置,涵盖自动手动提交offset、poll消息细节、健康状态检查、新消费组消费offset规则以及指定分区等技术点配置,全面无死角,一篇文章拿下!
消费者端自动和手动提交offset 一、自动提交offset 1、概念 Kafka中默认是自动提交offset。消费者在poll到消息后默认情况下,会自动向Broker的_cons…
-
【联邦学习(Federated Learning)】- 从基本分布式思想开始理解联邦学习
文章目录 联邦学习的基本概念 联邦学习的定义 联邦学习的特点 分布式机器学习 面向扩展性的分布式机器学习 面向隐私保护的分布式机器学习 分布式机器学习平台 联邦学习架构 C-S架构…
-
【头歌实训】kafka-入门篇
文章目录 第1关:kafka – 初体验 任务描述 相关知识 Kafka 简述 Kafka 应用场景 Kafka 架构组件 kafka 常用命令 编程要求 测试说明 答…
-
深入解析Zookeeper:核心特性与节点类型全景剖析
摘要: Zookeeper,作为一个关键的分布式应用协调框架,在多节点协作和数据同步方面发挥着不可或缺的作用。本文深入剖析了Zookeeper的核心概念,包括其基于内存的文件系统数…
-
SpringBoot3集成Zookeeper
一、简介 ZooKeeper是一个集中的服务,用于维护配置信息、命名、提供分布式同步、提供组服务。分布式应用程序以某种形式使用所有这些类型的服务。 二、环境搭建 1、修改配置文件 …
