分布式
-
Spark与ApacheAtlas集成
1.背景介绍 在大数据处理领域，Apache Spark和Apache Atlas是两个非常重要的开源项目。Spark是一个快速、高效的大数据处理框架，可以用于批处理、流处理和机器…
-
08、Kafka —— 消息存储相关的配置–＞消息过期时间设置、查看主题下的消息存活时间等配置
目录 消息存储相关的配置 ★ 消息的存储介绍 ★ 消息过期时间及处理方式 演示：log.cleanup.policy 属性配置 ★ 修改指定主题的消息保存时间 演示：将 test2…
-
HBase的数据库容量规划与优化
1.背景介绍 HBase的数据库容量规划与优化 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系…
-
详解kafka中的消息日志文件：Topic消息分类、partition分区、segment分段、offset偏移量索引文件
一、Kafka简介 Kafka是一种高吞吐量的基于zookeeper协调的以集群的方式运行的分布式发布订阅消息系统，支持分区（partition）、多副本（replica），具有非…
-
Zookeeper+kafka的应用及部署
Zookeeper+kafka的应用及部署 一、Zookeeper的概念 1、Zookeeper 定义 2、Zookeeper 工作机制 3、Zookeeper 特点 4、Zook…
-
微服务 初始 分布式搜索引擎 Elastic Search
文章目录 ⛄引言 一、什么是Elastic Search？ 二、Elastic Search 倒排索引 ⛅正向索引 ⚡倒排索引 ⛄正向和倒排 三、ES的一些概念 ⛅文档和字段 ⚡索…
-
『SEQ日志』在 .NET中快速集成轻量级的分布式日志平台
📣读完这篇文章里你能收获到 如何在Docker中部署 SEQ：介绍了如何创建和运行 SEQ 容器，给出了详细的执行操作 如何使用 NLog 接入 .NET Core…
-
CentOS7 下 Zookeeper 安装及配置
文章目录 一、Zookeeper 是什么 二、准备工作：主机准备 三、准备工作：JDK 安装 四、下载 Zookeeper 五、安装 Zookeeper 六、配置 Zookeepe…
-
RabbitMQ消息的链路跟踪
背景 TraceId能标记一次请求的调用链路，在我们排查问题的时候十分重要。系统引入MQ后，MQ消息默认不带TraceId，所以消息发送和处理的链路就断了。下面分享如何对业务逻辑无…
-
kafka本地安装报错
Error: VM option ‘UseG1GC’ is experimental and must be enabled via -XX:+UnlockExperimental…
-
Kafka消息延迟和时序性详解（文末送书）
目录 一、概括 1.1 介绍 Kafka 消息延迟和时序性 1.1.1 什么是 Kafka 消息延迟？ 1.1.2 为什么消息延迟很重要？ 1.1.3 什么是 Kafka 消息时序…
-
@RabbitListener 消息队列 消息序列化
MessageConvert 涉及网络传输的应用序列化不可避免，发送端以某种规则将消息转成 byte 数组进行发送，接收端则以约定的规则进行 byte[] 数组的解析。Rabbit…
-
【头歌实训】Spark 完全分布式的安装和部署
文章目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修…
-
RabbitMQ 管理页面使用指南
RabbitMQ 是一个功能强大的开源消息代理软件，广泛用于构建分布式系统和应用程序之间的可靠通信。RabbitMQ 提供了一个易于使用的管理页面，用于监视和管理 RabbitMQ…
-
Hadoop——Windows系统下Hadoop单机环境搭建
为了便于开发，我在本地Windows系统进行Hadoop搭建。 我使用的版本：hadoop-2.7.0。其他版本也可，搭建流程基本一样，所以参考这个教程一般不会有错。 1、下载安装…
