分布式
-
Docker 部署 分布式搜索引擎 Elastic Search
文章目录 ⛄引言 一、使用Elastic Search 的好处 二、部署ES ⛅部署kibana ⚡部署分词器 三、词典扩展与停用 ⛅扩展词典 ⚡停用词典 ⛵小结 ⛄引言 本文参考…
-
基于区块链的分层联邦学习
分层联邦学习（HFL）在保留联邦学习（FL）隐私保护优势的同时，减轻了通信开销，具有高带宽和丰富计算资源的优点。当FL的工作人员或参数服务器不可信或恶意时，方法是使用分层联邦学习。…
-
SparkSql—用户自定义函数UDF&&UDAF
文章目录 1.UDF 2.UDAF 2.1 UDF函数实现原理 2.2需求:计算用户平均年龄 2.2.1 使用RDD实现 2.2.2 使用UDAF弱类型实现 2.2.3 使用UDA…
-
Hadoop全分布式搭建
ctrl+alt切换定位到物理机/虚拟机 可以用物理机截图 # 检查内存 free -h # 检查磁盘空间 df -h # 检查 Java 版本 java -version 需要传…
-
RabbitMQ（007 消息可靠性part2）
动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件 总时长 12:20:00 共65P 此文章包含第45p-第p57的内容 备用交换机 交换机参数 只有一个 al…
-
插入数据：HBase的数据操作基础
1.背景介绍 作为一位世界级人工智能专家和技术领袖，我们今天来谈论一个非常重要的数据库技术：HBase。HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bi…
-
Spark的数据分区策略与分区器
1.背景介绍 1. 背景介绍 Apache Spark是一个开源的大规模数据处理框架，它可以处理批量数据和流式数据，并提供了一个易用的编程模型。Spark的核心组件是Spark应用…
-
Zookeeper 和 Redis 哪种更好？ 为什么使用分布式锁？ 1. 利用 Redis 提供的 第二种，基于 ZK 实现分布式锁的落地方案 对于 redis 的分布式锁而言，它有以下缺点：
文章目录 Zookeeper 和 Redis 哪种更好？ 为什么使用分布式锁？ 1. 利用 Redis 提供的 第二种，基于 ZK 实现分布式锁的落地方案 对于 redis 的分布…
-
消息队列选型：Kafka 如何实现高性能？
在分布式消息模块中，我将对消息队列中应用最广泛的 Kafka 和 RocketMQ 进行梳理，以便于你在应用中可以更好地进行消息队列选型。另外，这两款消息队列也是面试的高频考点。 …
-
消息队列zookeeper集群+kafka
消息队列zookeeper集群+kafka kafka 3.0之前依赖于zookpeeper zookeeper开源分布式架构，提供协调服务（Apache项目） 基于观察者模式设计…
-
Kafka 多线程消费者
Kafka 多线程消费者 多线程方案 Kafka 0.10.1.0 后，Kafka Consumer 变为双线程的设计 : 用户主线程 : 启动 Consumer 的 main 心…
-
Spark内容分享(二十五)：Spark读写Iceberg在腾讯的实践和优化
目录 Apache Iceberg介绍 1. Apache Iceberg-表格式 2. Iceberg表的组成 3. Iceberg表的ACID特性 4. Iceberg Evo…
-
Kafka 分级存储在腾讯云的实践与演进
导语 腾讯云消息队列 Kafka 内核负责人鲁仕林为大家带来了《Kafka 分级存储在腾讯云的实践与演进》的精彩分享，从 Kafka 架构遇到的问题与挑战、Kafka 弹性架构方案…
-
Zookeeper+Kafka集群
1 Zookeeper 1.1 Zookeeper概述 Zookeeper是一个开源的分布式的，为分布式框架提供协调服务的Apache项目。 分布式系统管理框架，主要用来解决分布式…
-
Zabbix第二部分：基于Proxy分布式部署实现Web监控和Zabbix HA集群的搭建
代理和高可用 一、基于zabbix-proxy的分布式监控 1.1 分布式监控的作用 1.2 数据流向 1.3 构成组件 二、部署zab·bix代理服务器 Step1 前置准备 S…
