分布式
-
中间件与rabbitmq
中间件是一种软件，用于在不同的应用程序、系统或服务之间提供通用功能和服务。它充当应用程序之间的桥梁，帮助它们相互通信和交换数据。中间件简化了复杂软件系统的开发和维护，使不同的系统组…
-
Spark基础知识
一.SPark基本介绍 1.Spark是什么? 1.1 定义 Apache Spark是用于大数据处理的统一分析引擎; 1.2 Spark与MapReduce对比 MapReduc…
-
@RabbitListener详解
@RabbitListener 是用于在 Spring AMQP 中消息监听的注解。它允许在 Spring 应用程序中声明消息监听器。在使用 @RabbitListener 注解的…
-
Kafka(二）原理详解
一 、kafka核心总控制器（Controller） 在Kafka集群中会有一个或者多个broker，其中有一个broker会被选举为控制器（Kafka Controller），它…
-
分布式数据库·Hive和MySQL的安装与配置
一、版本要求：Hadoop:hadoop-2.10.1、MySQL：mysql-8.0.35、 HIVE：apache-hive-3.1.2、MySQL驱动：mysql-conne…
-
字节跳动 Spark 支持万卡模型推理实践
摘要：本文整理自字节跳动基础架构工程师刘畅和字节跳动机器学习系统工程师张永强在本次 CommunityOverCode Asia 2023 中的《字节跳动 Spark 支持万卡模型…
-
ELK+kafka+filebeat企业内部日志分析系统
1、组件介绍 1、Elasticsearch： 是一个基于Lucene的搜索服务器。提供搜集、分析、存储数据三大功能。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTf…
-
数据仓库的数据模型与设计：关系图形化构建
1.背景介绍 数据仓库是一种用于存储和管理大量历史数据的系统，它的主要目的是为数据分析和报告提供支持。数据仓库通常包含大量的表格数据，这些数据需要进行复杂的查询和分析。为了实现高效…
-
Kafka学习
Kafka的消息通过主题（topic）进行分类 主题可以被分为若干个分区（partition），一个分区就是一个提交日志，通过分区来实现数据冗余和伸缩性 消息以追加的方式写入分区，…
-
Spark连接快速入门
文章最前： 我是Octopus，这个名字来源于我的中文名–章鱼；我热爱编程、热爱算法、热爱开源。所有源码在我的个人github ；这博客是记录我学习的点点滴滴，如果您对…
-
Kafka-服务端-PartitionLeaderSelector、ReplicaStateMachine
PartitionLeaderSelector 通过对前面的分析可知，PartitionMachine将Leader副本选举、确定ISR集合的工作委托给了PartitionLead…
-
Kafka
目录 1、Kafka简要描述 1.1、kafka 1.2 消息队列 1.3、为什么需要消息队列 1.4 kafka架构 1.5 分布式模型 1.6 Kafka网址 2、Kafka集…
-
「查缺补漏」 Kafka 核心知识梳理
这篇文章干货很多，希望你可以耐心读完。 Kafka 基础知识15问 Kafka 是什么, 适应场景有哪些? Kafka 是一个分布式的流式处理平台，用于实时构建流处理应用。主要应用…
-
MapReduce and Hadoop: An InDepth Look at the Relationship
1.背景介绍 大数据是当今世界最热门的话题之一，它指的是那些以前无法使用传统数据库和数据处理技术来处理的数据。这些数据通常是非结构化的，例如社交网络的用户行为数据、传感器数据、图像…
-
SpringBoot分布式Netty集群，通过Redis发布/订阅广播
一、前言 之前做用springboot+websocket做双向通讯时，websocket的session存在无法序列化导致集群不能通过共享session来实现，后…
