大数据
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子： 例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。…
-
超大量数据，前端树形结构展示
后端返回了50万数据，让前端一次性展示成树，之前用的ant-design-vue的tree插件，卡的死死的，经过大量实验，现发现三种树可以支持如此大数量的数据。 目录 第一种：vu…
-
大数据之Kafka————java来实现kafka相关操作
一、在java中配置pom junit junit 4.11 test org.apache.kafka kafka-clients 2.8.0 org.apache.kafka …
-
数据中心IDC、ODC、EDC、DC分别是什么
互联网数据中心（IDC–Internet Data Center） 企业数据中心 （EDC–Enterprise Data Center） 外包数据中心…
-
Kudu与Apache Flink的集成：实时数据处理的新方法
1.背景介绍 随着数据的增长，实时数据处理变得越来越重要。传统的批处理系统已经不能满足现在的需求。因此，实时数据处理技术逐渐成为了研究的热点。Kudu和Apache Flink是两…
-
Elasticsearch：使用最新的 Elasticsearch Java client 8.0 来创建索引并搜索
这篇文章，我来详细地描述如何使用最新的 Elasticsearch Java client 8.0 来创建索引并进行搜索。最新的 Elasticsearch Java client…
-
大数据期末课设~基于spark的气象数据处理与分析
目录 一 、项目背景 ……………………………
-
【头歌实训】Spark 完全分布式的安装和部署
文章目录 第1关： Standalone 分布式集群搭建 任务描述 相关知识 课程视频 Spark分布式安装模式 示例集群信息 配置免密登录 准备Spark安装包 配置环境变量 修…
-
kibana操作elasticsearch（增删改查）
天行健，君子以自强不息；地势坤，君子以厚德载物。 每个人都有惰性，但不断学习是好好生活的根本，共勉！ 文章均为学习整理笔记，分享记录为主，如有错误请指正，共同学习进步。 文章目录 …
-
Clojure 实战(4)：编写 Hadoop MapReduce 脚本
Hadoop简介 众所周知，我们已经进入了大数据时代，每天都有PB级的数据需要处理、分析，从中提取出有用的信息。Hadoop就是这一时代背景下的产物。它是Apache基金会下的开源…
-
如何构建AI大模型进行情感分析与挖掘
1.背景介绍 情感分析（Sentiment Analysis）是一种自然语言处理（NLP）技术，旨在从文本数据中识别和分析人们的情感态度。随着人工智能（AI）技术的发展，情感分析已…
-
Hadoop——Windows系统下Hadoop单机环境搭建
为了便于开发，我在本地Windows系统进行Hadoop搭建。 我使用的版本：hadoop-2.7.0。其他版本也可，搭建流程基本一样，所以参考这个教程一般不会有错。 1、下载安装…
-
商务智能期末复习
讨论下面的数据分析需要使用何种数据挖掘方式，给出简单的分析思路： 给出某电商平台前几个月一些客户的浏览和交易日志数据，预测未来一个月客户可能的行为 可以使用时间序列分析方法进行数据…
-
Flink 状态管理与容错机制(CheckPoint & SavePoint)的关系
一、什么是状态 无状态计算的例子： 例如一个加法算子，第一次输入2+3=5那么以后我多次数据2+3的时候得到的结果都是5。得出的结论就是，相同的输入都会得到相同的结果，与次数无关。…
-
最详细HDFS常用命令作用及截图
Hdfs dfs -appendToFile：把本地文件中的内容追加到HDFS中指定文件的末尾 Hdfs dfs -cat ：用于查看分布式文件系统中指定文件里面的内容； 两个命令…
