分布式
-
初识Hadoop-概述与关键技术
一.大数据概述 1.什么是大数据 高速发展的信息时代，新一轮科技革命和变革正在加速推进，技术创新日益成为重塑经济发展模式和促进经济增长的重要驱动力量，而“大数据”无疑…
-
windows10搭建spark本地开发环境
windows10搭建spark本地开发环境 1. spark概述 2. 安装spark 2.1 Windows10 安装Spark本地开发环境 2.1.1 **版本说明** 2….
-
分布式系统的分布式流处理框架：Apache Flink与Spark Streaming实战
1.背景介绍 分布式系统的分布式流处理框架：Apache Flink与Spark Streaming实战 随着大数据时代的到来，实时数据处理和分析已经成为企业和组织中的重要组成部分…
-
微服务 分布式搜索引擎 Elastic Search RestAPI
文章目录 ⛄引言 一、RestAPI ⛅导入数据 ⏰mapping映射分析 ⚡初始化RestClient 二、索引库操作 ⌚创建索引库 ✒️删除索引库 ⚡判断索引库是否存在 ⛵小结…
-
kafka消费Clock skew too great (37)，CPU打爆
No valid credentials provided (Mechanism level: Clock skew too great (37) – PROCESS_…
-
HBase与Kafka集成与实时处理
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Zoo…
-
RabbitMQ进阶
RabbitMQ进阶 1 RabbitMQ 的高级特性 1.1TTL（Time-To-Live）生存时间 TTL 允许设置消息的生存时间，超过指定时间仍未被消费者处理的消息将被视为…
-
Rabbitmq消息大量堆积
背景 记得有次公司搞促销活动，流量增加，但是系统一直很平稳（我们开发的系统真牛），大家很开心的去聚餐，谈笑风声，气氛融洽，突然电话响起…. 运维：小李，你们系统使用的r…
-
Spark在数据科学中的应用案例分析
Spark在数据科学中的应用案例分析 在数据科学领域，Apache Spark已经成为一个不可或缺的工具。其强大的分布式计算能力和丰富的数据处理功能使得数据科学家能够高效地处理大规…
-
【分布式文件存储】MinIO部署及实现文件上传下载
目录 概述 MinIO集群部署 准备docker-compose.yml 测试启动 MinIO用户管理 Buckets管理 创建Buckets MinIO客户端 引入依赖 文…
-
Sqoop数据迁移工具
概述 Apache Sqoop（SQL-to-Hadoop）项目旨在协助RDBMS与Hadoop之间进行高效的大数据交流。用户可以在 Sqoop 的帮助下，轻松地把关系型数据库的数…
-
Kafka and Avro: Handling Schema Evolution in Distributed Systems
1.背景介绍 在分布式系统中，数据的结构和格式经常会发生变化。这种变化被称为“架构演进”或“架构演进”。在这种情况下，需要一种机制来处理这种变化，以确保系统的可扩展性和可靠性。这篇…
-
大数据处理：利用Spark进行大规模数据处理
1.背景介绍 大数据处理是指对大规模、高速、多源、多样化的数据进行处理、分析和挖掘的过程。随着互联网、人工智能、物联网等领域的发展，大数据处理技术已经成为当今科技的核心技术之一。A…
-
rabbitMQ~工作模式代码实现【基于python pika模块】
文章目录 1 简单模式 2 工作模式 3 发布订阅模式 4 路由模式 5 主题模式 1 简单模式 import pika # 创建连接 connection = pika.Bloc…
-
日志系统二（ilogtail+kafka+logstash+es+kibana）
流程介绍： ilogtail日志采集写入kafka指定Topic Logstash 消费 kafak 消息 写入 ES Kibana 展示数据 注： ilogtail采集的日志也…
