分布式
-
Spark在降本增效中的一些思考
背景 在大环境不好的情况下,本司也开始了“降本增效”，本文探讨一下，在这种背景下 Spark怎么做的降本增效。 Yarn 基于 EMR CPU 是xlarge，也就是内存和核的比例…
-
Hadoop增加新节点环境配置（自用）
完成Hadoop集群增添一个新的节点配置（文中命名为）Hadoop106，没有进行继续为该节点分配身份职能的步骤 1.在VMware中安装CentOS 7 新建虚拟机 1.⾸先我们…
-
2.1、如何在FlinkSQL中读取&写入到Kafka
目录 1、环境设置 方式1：在Maven工程中添加pom依赖 方式2：在 sql-client.sh 中添加 jar包依赖 2、读取Kafka 2.1 创建 kafka表 2.2 …
-
深入理解 Flink（四）Flink Time+WaterMark+Window 深入分析
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
-
RabbitMQ中方法channel.basicAck的使用说明
方法channel.basicAck的作用 在RabbitMQ中，channel.basicAck方法用于确认已经接收并处理了消息。 方法的参数说明 public void bas…
-
RabbitMQ（不完整版）
文章目录 RabbitMQ 入门 1.什么是MQ 2.为什么要用MQ 流量消峰 应用解耦 异步处理 3.MQ的分类 ActiveMQ Kafka RocketMQ RabbitMQ…
-
Kafka-实践-数据平台-美团技术团队
1. 现状和挑战 1.1 现状 Kafka是一个开源的流处理平台，业界有很多互联网企业也都在使用这款产品。我们首先了解一下Kafka在美团数据平台的现状。 图1-1 Kafka在美…
-
Spark 完全分布式的安装和部署
目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修改 …
-
简单讲讲在一台机器上用docker部署hadoop HDFS
为什么写这篇文章? 老东西叫我用vmvare部署hadoop,我觉得这简直蠢毙了,让我们用docker和docker-compose来快速的过一遍如何使用docker-compos…
-
Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)
1. 分布式锁 1.1 什么是分布式锁 在我们进行单机应用开发涉及并发同步的时候，我们往往采用synchronized或者ReentrantLock的方式来解决多线程间的代码同步问…
-
RabbitMQ深入 —— 死信队列
前言 前面荔枝梳理了RabbitMQ中的普通队列、交换机以及相关的知识，在这篇文章中荔枝将会梳理RabbitMQ的一个重要的队列 —— 死信队列，主要了解消息流转到…
-
RabbitMq知识概述
本文来说下RabbitMq相关的知识与概念 文章目录 概述 AMQP协议 Exchange 消息如何保证100％投递 什么是生产端的可靠性投递 可靠性投递保障方案 消息幂等性 高并…
-
rabbitMq 针对于当前监听的队列，来控制消费者并发数量，不影响其他队列，代码示例
@Configuration @ConditionalOnClass(SimpleRabbitListenerContainerFactory.class) public clas…
-
Spark与Cassandra的集成与数据存储
Apache Spark和Apache Cassandra是大数据领域中两个重要的工具，用于数据处理和分布式数据存储。本文将深入探讨如何在Spark中集成Cassandra，并演示…
-
关于集群分布式torchrun命令踩坑记录（自用）
项目场景： 在训练或者微调模型的过程中，单节点的显存溢出，或者单节点的显卡较少，算力有限。需要跨节点用多个节点多块显卡来运行这项任务。这里就需要使用分布式命令，将这项任务分布到多个…
