大数据
-
FlinkAPI开发之FlinkSQL
一.代码中使用FlinkSQL 需要引入的依赖 org.apache.flink flink-table-api-java-bridge ${flink.version} 这里的依…
-
Hadoop原理介绍
目录 HDFS 分布式存储介绍 组成 架构图 分块存储 NameNode管理元数据 SecondaryNameNode辅助管理元数据 三大机制 读写数据流程 读数据流程 写数据流程…
-
Flink流数据接口与操作
1.背景介绍 Flink是一个流处理框架，用于处理大规模的实时数据流。它提供了一种新的、高效的流处理模型，可以处理大量的数据，并在实时处理数据的同时，保持低延迟和高吞吐量。Flin…
-
政务大数据能力平台建设方案：文件全文30页，附下载
关键词：智慧政务解决方案，智慧政务建设，智慧政务服务平台，智慧政务大数据，数字政务一体化平台。大数据，政务大数据建设 一、智慧政务建设需求 1、政务服务需求：智慧政务建设需要满足人…
-
【Flink】The primary key is necessary when enable ‘Key: ‘scan.incremental.snapshot.enabled‘ , default:
问题出现：在执行FlinkSQL-CDC连接mysql的时候，使用FlinkSQL客户端出现如下问题： Flink SQL> CREATE TABLE demo ( >…
-
工业互联网的大数据与云计算
1.背景介绍 在当今的数字时代，工业互联网已经成为企业竞争的核心。大数据和云计算技术在工业互联网中发挥着关键作用，为企业提供了更高效、更智能的解决方案。本文将从背景、核心概念、算法…
-
深入了解 Flink 的检查点机制
1.背景介绍 Flink 是一个流处理框架，用于实时数据处理。检查点(checkpoint)机制是 Flink 的一个核心组件，用于保证流处理作业的可靠性和容错性。在这篇文章中，我…
-
从千问Agent看AI Agent——我们很强，但还有很长的路要走
前言 最近双十一做活动买了台新电脑，显卡好起来了自然也开始大模型的学习工作了，这篇文章可能是该系列的第一弹，本地私有化部署千问agent，后面还会尝试一些其他的大模型结合本地知识库…
-
【SQL应知应会】表分区（三）• Oracle版
欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享，与更多的人进行学习交流 本文收录于SQL应知应会专栏,本专栏主要用于记录对于数据库的一些学习，有基础也有进阶，有MySQL…
-
Spark避坑系列一（基础知识）
大家想了解更多大数据相关内容请移驾我的课堂： 大数据相关课程 剖析及实践企业级大数据 数据架构规划设计 大厂架构师知识梳理：剖析及实践数据建模 剖析及实践数据资产运营平台 Spar…
-
大数据之使用Spark全量抽取MySQL的数据到Hive数据库
文章目录 前言 一、读题分析 二、使用步骤 1.导入配置文件到pom.xml 2.代码部分 三、重难点分析 总结 前言 本题来源于全国职业技能大赛之大数据技术赛项赛题-离线数据处理…
-
es启动，浏览器无法访问9200
通过brew成功启动es，但是访问http://localhost:9200/报错，连接被拒绝 %:brew services start elasticsearch-full =…
-
Elasticsearch与Apache Spark集成
1.背景介绍 Elasticsearch和Apache Spark都是大数据处理领域中非常重要的技术。Elasticsearch是一个分布式搜索和分析引擎，它可以实现文本搜索、数据…
-
实战，实现幂等的8种方案！
1. 什么是幂等? 幂等是一个数学与计算机科学概念。 在数学中，幂等用函数表达式就是：f(x) = f(f(x))。比如求绝对值的函数，就是幂等的，abs(x) = abs(abs…
-
搭建伪分布式Hadoop
文章目录 一、Hadoop部署模式 （一）独立模式 （二）伪分布式模式 （三）完全分布式模式 二、搭建伪分布式Hadoop （一）登录虚拟机 （二）上传安装包 （三）配置免密登录 …
