分布式
-
数据仓库安全与隐私:保护措施与实践
1.背景介绍 数据仓库安全与隐私是当今数据驱动经济的关键问题之一。随着数据的积累和分析的重要性不断提高,数据仓库的安全和隐私保护成为了企业和组织的重要议题。数据仓库安全与隐私的保护…
-
开始之前:Zookeeper简介
1.背景介绍 Zookeeper是一个开源的分布式协调服务,由Yahoo!开发并于2008年发布。它为分布式应用提供一致性、可靠性和可扩展性的基础设施。Zookeeper的核心功能…
-
Spark与Elasticsearch案例
1.背景介绍 1. 背景介绍 Apache Spark和Elasticsearch都是现代大数据处理和分析领域中的重要工具。Spark是一个快速、高效的大数据处理引擎,可以处理批量…
-
【kafka消息里会有乱序消费的情况吗?如果有,是怎么解决的?】
文章目录 什么是消息乱序消费了? 顺序生产,顺序存储,顺序消费 如何解决乱序 数据库乐观锁是怎么解决这个乱序问题吗 保证消息顺序消费两种方案 固定分区方案 乐观锁实现方案 前几天刷…
-
【分布式】java实现分布式事务的五种方案
文章目录 背景 什么是分布式事务 什么是分布式系统: 什么是事务: 什么是本地事务: 什么是分布式事务: 分布式事务有哪些应用场景: 如何进行分布式事务控制 CAP理论 分布式系统…
-
分享8个分布式Kafka的使用场景
Kafka 最初是为海量日志处理而构建的。它保留消息直到过期,并让消费者按照自己的节奏提取消息。与它的前辈不同,Kafka 不仅仅是一个消息队列,它还是一个适用于各种情况的开源事件…
-
zookeeper-数据备份和恢复
一、数据备份 1.1 zk数据备份采用的是冷备份方案中的方案: 将 /tmp/zookeeper/version-2/snapshot.* 文件按时间排序,找到第二新的 snaps…
-
Spark–一文了解WebUI
文章目录 前言 一、认识Spark UI 二、Jobs 2.1 了解jobs 2.2 关于job我们需要知道的小知识 2.2.1 多个job可以并行执行吗 2.2.2 job是如何…
-
大数据- Hadoop入门
目录 🐶2.1 hadoop的简介 1. 概述 2. 什么是分布式? 3. Hadoop的指代 🐶2.2 hadoop的发展历程 🐶…
-
Kafka 如何保证消息不丢失?
今天分享的这道面试题,是一个工作 2 年的小伙伴私信给我的。 我觉得这个问题比较简单,本来不打算说,但是,唉~ 作为新的 UP 主满足粉丝的基本要求,才能获得更多的点赞呀~是吧。 …
-
Kafka消息丢失:原因、解决方案和零丢失的配置
在使用Apache Kafka作为分布式消息系统时,消息丢失是一种常见的问题。消息丢失可能会导致数据不一致或功能故障,因此对于许多应用程序来说是不可接受的。本文将介绍Kafka消息…
-
RabbitMQ初级篇:生产者与消费者关系、消息确认机制(ACK)、交换器与队列进行消息路由和存储
1. 生产者与消费者关系 在RabbitMQ中,生产者(Producer)负责发送消息,通常是应用程序向RabbitMQ服务器发送具有特定路由键的消息;消费者(Consumer)则…
-
RabbitMQ 重置用户名和密码的方法
更改RabbitMQ登录帐号的密码 #进入RabbitMQ安装目录 cmd cd E:\***\***\sbin(修改成自己的RabbitMq下载目录,例如:E:\RabbitMq…
-
亿万级别Kafka演进之路:可靠性+事务+消息中间件+源码+日志
前言 Kafka起初是由LinkedIn公司采用Scala语言开发的-一个多分区、多副本且基于ZooKeeper协调的分布式消息系统,现已被捐献给Apache基金会。目前Kafka…
-
Spark与Apache Storm集成与优化
1.背景介绍 Spark和Apache Storm都是大数据处理领域中非常重要的开源技术。Spark是一个快速、通用的大数据处理引擎,可以用于数据清洗、数据分析、机器学习等多种任务…
