分布式
-
Kafka生产者发送消息的流程
Kafka 生产者发送消息的流程涉及多个步骤,从消息的创建到成功存储在 Kafka 集群中。以下是 Kafka 生产者发送消息的主要步骤: 1. 创建消息 生产者首先创建一个消息,…
-
Kafka客户端程序无法连接到Kafka集群的解决方法
Kafka是一个高性能、分布式的流式数据平台,广泛用于构建实时数据流处理应用程序。然而,有时候我们可能会遇到Kafka客户端程序无法连接到Kafka集群的问题。在本文中,我将介绍一…
-
使用JAVA & Zookeeper构建分布式键值存储
在这篇文章中,我将使用 JAVA 和网络套接字构建一个简单的分布式键值存储。 我将展示如何在具有多个分区和复制的集群中使用 Zookeeper 作为协调服务。 本系统中Zookee…
-
大数据Hadoop完全分布式及心得体会
文章目录 前言 认识hadoop,根据所学知识完成作业,并总结本学期心得体会。 一、认识hadoop 二、一课一得作业讲解 实现步骤 1. 搭建集群 2. 模拟生成新能源车辆数据编…
-
Kafka错误解决:kafka.zookeeper.ZooKeeperClientTimeoutException:连接超时等待解决方案
在使用Kafka时,有时候会遇到”kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting …
-
hadoop的基础操作——Hadoop中创建、修改、查看、删除文件夹及文件
一、实验目的 熟练掌握常用的hadoop shell命令 二、实验内容 1.学习在开启、关闭Hadoop 2.学习在Hadoop中创建、修改、查看、删除文件夹及文件 3.学习…
-
【HDFS】HDFS 的常用命令
HDFS 的常用命令 1.操作命令1.1 创建文件夹1.2 列出指定的文件和目录1.3 新建文件1.4 上传文件1.5 将本地文件移动到 HDFS1.6 下载文件1.7 查看文件1…
-
rabbitmq如何保证消息的可靠性
RabbitMQ可以通过以下方式来保证消息的可靠性: 1. 持久化消息 在发布消息时,可以设置消息的delivery mode为2,这样消息会被持久化存储在磁盘上,即使Rabbit…
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1:在Maven工程中添加pom依赖 方式2:在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
-
RabbitMQ(二) – RabbitMQ与消息发布确认与返回、消费确认
RabbitMQ消息确认 SpringBoot与RabbitMQ整合后,对RabbitClient的“确认”进行了封装、使用方式与RabbitMQ官网不一致; 消息发布确认 生产者…
-
Kafka生产消费流程
Kafka生产消费流程 1.Kafka一条消息发送和消费的流程图(非集群) 2.三种发送方式 准备工作 创建maven工程,引入依赖 org.apache.kafka kafka-…
-
一文搞懂秒杀系统,欢迎参与开源,提交PR,提高竞争力。早日上岸,升职加薪。
前言 秒杀和高并发是面试的高频考点,也是我们做电商项目必知必会的场景。欢迎大家参与我们的开源项目,提交PR,提高竞争力。早日上岸,升职加薪。 知识点详解 秒杀系统架构图 秒杀流程图…
-
Dynamic DataSource 多数据源配置【 Springboot + DataSource + MyBatis Plus + Druid】
一、前言 MybatisPlus多数据源配置主要解决的是多数据库连接和切换的问题。在一些大型应用中,由于数据量的增长或者业务模块的增多,可能需要访问多个数据库。这时,就需要配置多个…
-
【分布式·大数据】大模型赛道如何实现华丽的弯道超车 —— AI/ML训练赋能解决方案
文章目录 大模型赛道如何实现华丽的弯道超车 —— AI/ML训练赋能解决方案 01 具备对海量小文件的频繁数据访问的 I/O 效率 02 提高 GPU 利用率,降低成本并提高投资回…
-
ZooKeeper初探:分布式世界的守护者
欢迎来到我的博客,代码的世界里,每一行都是一个故事 ZooKeeper初探:分布式世界的守护者前言Zookeeper的概述分布式系统中的角色和作用:Zookeeper的数据模型Zn…
