分布式
-
Python爬虫之Scrapy框架系列(24)——分布式爬虫scrapy
目录: 1.使用分布式爬取XX电影信息 (1)settings.py文件中的配置: (2)spider文件的更改: (3)items.py文件(两个项目一致!): (4)pipel…
-
RabbitMQ中交换机的应用及原理,案例的实现
目录 一、介绍 1. 概述 2. 作用及优势 3. 工作原理 二、交换机Exchange 1. Direct 2. Topic 3. Fanout 三、代码案例 消费者代码 1…
-
为什么 Kafka 这么快?它是如何工作的?
随着数据以指数级的速度流入企业,强大且高性能的消息传递系统至关重要。Apache Kafka 因其速度和可扩展性而成为热门选择,但究竟是什么让它如此之快? 在本期中,我们将探讨: …
-
RabbitMQ之交换机
目录 前言 一.关于交换机 1.交换机工作原理 2.交换机类型及路由规则 二.交换机实战讲解 1.直连交换机 2.主题交换机 3.扇形交换机 总结 前言 RabbitMQ 中的交换…
-
Kafka Tool(Kafka 可视化工具)安装及使用教程
Kafka Tool(Kafka 可视化工具)安装及使用教程 Kafka Tool 工具下载 下载地址 http://www.kafkatool.com/download.html…
-
Redis与Kafka的集成
1.背景介绍 在现代大数据时代,数据处理和存储的需求日益增长。为了更好地处理和存储大量数据,许多高性能的数据存储和处理技术已经出现。Redis和Kafka是其中两种非常重要的技术。…
-
2024.1.15 Spark 阶段原理,八股,面试题
目录 1. 简述什么是Spark? 2. 简述Spark的四大特点 3. 简述Spark比Mapreduce执行效率高的原因 4. 简述Spark on Yarn的两种部署模式的区…
-
Kafka的配置和使用
目录 1.服务器用docker安装kafka 2.springboot集成kafka实现生产者和消费者 1.服务器用docker安装kafka ①、安装docker…
-
Kafka数据清理指南
在本文中,我们将介绍如何使用Kafka进行数据清理。Kafka是一个高性能、分布式的流数据平台,常用于构建实时数据流应用程序。当我们在Kafka集群中处理大量的数据时,及时清理过期…
-
Spark编程实验二:RDD编程初级实践
目录 一、目的与要求 二、实验内容 三、实验步骤 1、pyspark交互式编程 2、编写独立应用程序实现数据去重 3、编写独立应用程序实现求平均值问题 4、三个综合实例 四、结果分…
-
【云平台技术】Hadoop全分布式安装与配置
目录 一、虚拟机安装 1、创建虚拟机 2、虚拟机启动初始化 二、 虚拟机克隆 三、Linux系统的网络配置 1、准备工作 2、 主机名和IP映射 2.1 配置主机名 2.2 配置…
-
XXL-Job快速入门+详细教程
XXL-Job快速入门+详细教程 1 概念 XXL-JOB是一个轻量级分布式任务调度平台 详细说明:XXL-JOB是一个任务调度框架,通过引入XXL-JOB相关的依赖,按照相关格式…
-
MPP架构和分布式架构的区别
目录 一、分布式架构和MPP架构分析 1.1分布式架构分析 1.2 MPP架构分析 1.2.1 MPP介绍 1.2.2 MPP架构发展历史 二、分布式架构和MPP架构的应用 2.1…
-
CentOS7本地部署分布式开源监控系统Zabbix并结合内网穿透实现远程访问
前言 Zabbix是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。能监视各种网络参数,保证服务器系统的安全运营;并提供灵活的通知机制以让系统管理员快…
-
RabbitMQ 管理页面该如何使用
1. 概览 首先,这个 Web 管理页面大概就像下图这样: 首先一共有六个选项卡: Overview:这里可以概览 RabbitMQ 的整体情况,如果是集群,也可以查看集群中各个节…
