大数据
-
spark之action算子学习笔记(scala,pyspark双语言)
目录 一、collect 二、count 三、first 四、take 五、takeOrdered 六、countByKey 七、foreach 八、简单案例 九、一个综合案例 9…
-
HBase的数据校验与数据完整性
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Map…
-
【Spark精讲】一文讲透SparkSQL物理执行计划
SparkSQL整体计划生成流程 大体分三步： (1)由 SparkSqlParser 中的 AstBuilder执行节点访问，将语法树的各种Context节点转换成对应的 Log…
-
Spark与ApacheCassandra集成与优化
1.背景介绍 1. 背景介绍 Apache Spark 是一个快速、通用的大数据处理框架，它可以处理批量数据和流式数据，支持多种编程语言，如 Scala、Python、R 等。Ap…
-
【Flink】 ClassNotFoundException: com.ververica.cdc.debezium.utils.ResolvedSchemaUtils
在FlinkSQL客户端中执行FlinkCDC，使用mysql连接的时候，报如下问题（Flink版本1.13.6）： Flink SQL> CREATE TABLE demo…
-
ClickHouse 与 Flink 整合：流处理与时间序列分析
1.背景介绍 时间序列数据是指以时间为维度、数值为值的数据，是目前互联网、物联网、金融、制造业等各个领域中最为重要的数据类型之一。随着大数据技术的发展，时间序列数据的存储、查询、分…
-
Spark搭建
Spark搭建（三种模式） Local模式 主要用于本地开发测试 本文档主要介绍如何在IDEA中配置Spark开发环境 打开IDEA，创建Maven项目 在IDEA设置中安装Sca…
-
用AI辅助生活，解决人类难题，智能未来，未来已来
ChatGPT不仅可以用来聊天、写作、创作，还可以用来解决各种业务问题：通过把AI爆炸性提升的生产力，转化为重新定义市场、创造竞争优势的清晰思路和行动计划，真正帮助你提升业务实战能…
-
【ACM出版 |广东科技学院、大湾区产教联盟、广东博思云科教技术有限公司联合主办| EI, Scopu检索，见刊检索非常稳定】2024年粤港澳大湾区数字经济与人工智能国际学术会议(DEAI2024)
2024年粤港澳大湾区数字经济与人工智能国际学术会议(DEAI2024)将在2024年3月15-17日在广东省东莞市隆重举行。大会邀请来自国内外高等院校、科学研究所、企事业单位的专…
-
Docker desktop 安装Elasticsearch-单节点
1.安装Docker desktop 2.在desktop中搜索ES 2.1ES安装 1. 2. 3.点击小三角启动 点击run开始启动。 此时会看到控制台报错 这个…
-
速卖通半托管优缺点是什么？速卖通半托管和全托管的区别是什么？速卖通半托管怎么发货？
1月5日，阿里速卖通AliExpress正式向全体卖家推出半托管模式，并且官方连续发放多重补贴，重金加码半托管模式，推广力度非常大。 关于速卖通半托管服务春节补贴政策 图源：阿里巴…
-
ERD助力研发资产沉淀&研发提效
一、从痛点中思考答案 痛点一：复杂系统的设计和逻辑碎片化散落，缺少沉淀导致系统后期维护、迭代以及架构升级都非常困难。 痛点二：由于新需求或新项目导致的系统的老旧逻辑梳理往往耗费大量…
-
IntelliJ IDEA如何使用固定地址公网远程访问本地Mysql数据库
文章目录 1. 本地连接测试 2. Windows安装Cpolar 3. 配置Mysql公网地址 4. IDEA远程连接Mysql 小结 5. 固定连接公网地址 6. 固定地址连接…
-
HBase与Hadoop：HBase与Hadoop的集成与使用
1.背景介绍 1. 背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。HBase提供了一种自动分区、自动同步的数据存储方式，可…
-
Flink 内容分享(八)：Flink CDC的概览和使用
目录 什么是CDC 什么是Flink CDC Flink CDC 前生今世 Flink CDC 1.x Flink CDC 2.x Flink CDC 3.x Flink CDC使…
