分布式

文章目录 介绍：使用Spark进行特征工程 使用PySpark的Spark 设置Spark 测试Spark Spark 仪表盘 数据存储 特征工程 一个分区的特征 自定义基元 运行…

一、RabbitMQ默认账号         Note: The default administrator username and password are guest and…

kafka详解一 1、消息引擎背景 根据维基百科的定义，消息引擎系统是一组规范。企业利用这组规范在不同系统之间传递语义准确的消息，实现松耦合的异步式数据传递. 即：系统 A 发送消…

简介 Kafka 是一种分布式、支持分区、多副本的消息中间件，支持发布-订阅模式，多用于实时处理大量数据缓存的场景，类似于一个“缓存池”。 架构 Producer：消息生产者； C…

目录 1. 为什么消息顺序性很重要？ 2. Kafka 的消息顺序性挑战 2.1 分区与并行性 2.2 生产者与网络延迟 2.3 消费者群组 3. 保证消息顺序性的策略 3.1 单…

要掌握有关系统的基本理论，如 Java语言、 MySQL数据库等，并对其进行全面的分析。为了给系统打下坚实的技术基础，本系统采用了 MySQL数据库的架构，在开始这项工作前，首先要…

文章目录 一、交换机是什么？ 1.路由键 2.绑定键 二、交换机的类型 1.直连交换机：Direct exchange 规则 理解 2.主题交换机:Topic exchange 规…

1.安装erl和rabbitmq；这些都可以在网上找到，安装完成之后，配置成服务，将erl和mq配置到环境变量中去。 安装方法可参考：在Windows下安装RabbitMQ_rab…

一、RDD概念 RDD（英文全称Resilient Distributed Dataset），即弹性分布式数据集是spark中引入的一个数据结构，是Spark中最基本的数据抽象，代…

目录 ​编辑 一、Hadoop集群部署 二、基础设施配置 2.1 设置网络  2.1.1 设置主机名称 2.1.2 设置hosts配置文件 2.1.3 关闭防火墙  2.1.4 关…