分布式
-
Hadoop 高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive)
Hadoop 高可用集群完全分布式安装教程一篇就够用（zookeeper、spark、hbase、mysql、hive） 写在之前，Hadoop完全分布式集群资源配置规划情况 一、…
-
数据仓库与Hadoop：如何实现大规模数据处理
1.背景介绍 数据仓库和Hadoop都是处理大规模数据的重要技术，它们在现代数据科学和人工智能中发挥着至关重要的作用。数据仓库是一种用于存储和管理大量历史数据的系统，主要用于数据分…
-
Eureka整合seata分布式事务
文章目录 一、分布式事务存在的问题 二、分布式事务理论 三、认识Seata Seata分布式事务解决方案 1、XA模式 2、AT模式 3、SAGA模式 4.SAGA模式优缺点： 5…
-
AI分布式训练：DDP (数据并行）技术详解与实战
分布式训练：DDP (数据并行）技术详解与实战 一、背景介绍 什么是AI分布式训练 分布式训练作为一种高效的训练方法，在机器学习领域中得到了广泛的应用和关注。而其中的一种技术…
-
hadoop集群搭建–启动hdfs时NameNode或DataNode或SecondaryNameNode启动失败解决方法
1、集群HDFS配置情况 node101:NameNode、DataNode node102:DataNode node103:SecondaryNameNode、DataNode…
-
【项目实战】Kafka中Topic创建介绍
一、Kafka介绍 Kafka是一种分布式流处理平台，它可以处理实时数据流，支持高吞吐量、低延迟的数据处理。 它通过Topic和Partition机制将消息存储在集群中，并支持高吞…
-
Zookeeper与ApacheSuperset集成
1.背景介绍 1. 背景介绍 Apache Zookeeper 和 Apache Superset 都是开源的分布式协调服务和数据可视化工具，它们在分布式系统中发挥着重要作用。Zo…
-
Zookeeper的分布式通信与协调
1.背景介绍 Zookeeper是一个开源的分布式应用程序，它为分布式应用程序提供一致性、可靠性和原子性的分布式协调服务。Zookeeper的核心功能包括：数据持久化、监听器机制、…
-
Kafka消费异常处理策略及重试机制
在使用Kafka进行消息传递时，消费者可能会遇到各种异常情况，例如网络故障、消息处理失败等。为了保证消息的可靠消费，我们需要实现一套有效的异常处理策略和重试机制。本文将介绍如何在K…
-
Spark在降本增效中的一些思考
背景 在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下 Spark怎么做的降本增效。 Yarn 基于 EMR CPU 是xlarge，也就是内存和核的比例…
-
Hadoop增加新节点环境配置（自用）
完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤 1.在VMware中安装CentOS 7 新建虚拟机 1.⾸先我们…
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1：在Maven工程中添加pom依赖 方式2：在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
-
深入理解 Flink（四）Flink Time+WaterMark+Window 深入分析
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
-
RabbitMQ中方法channel.basicAck的使用说明
方法channel.basicAck的作用 在RabbitMQ中，channel.basicAck方法用于确认已经接收并处理了消息。 方法的参数说明 public void bas…
-
RabbitMQ（不完整版）
文章目录 RabbitMQ 入门 1.什么是MQ 2.为什么要用MQ 流量消峰 应用解耦 异步处理 3.MQ的分类 ActiveMQ Kafka RocketMQ RabbitMQ…
