大数据
-
大数据与信息融合——神经网络(实验二)
一、实验目的 神经网络(Neural Network,NN)是一种由多层神经元组成的模型,通过学习数据的特征和模式来进行分类。本实验利用利用机器学习算法,学习搭建神经网络,实现对数…
-
案例系列:客户流失预测
文章目录 介绍:使用Spark进行特征工程 使用PySpark的Spark 设置Spark 测试Spark Spark 仪表盘 数据存储 特征工程 一个分区的特征 自定义基元 运行…
-
Flink standalone集群部署配置
文章目录 简介 软件依赖 部署方案 二、安装 1.下载并解压 2.ssh免密登录 3.修改配置文件 3.启动集群 4.访问 Web UI 简介 Flink独立模式(Standalo…
-
ClickHouse 与 Hadoop 整合: 大数据分析与集成解决方案
1.背景介绍 大数据技术在过去的几年里已经成为企业和组织中最重要的技术之一。随着数据的规模和复杂性的增加,传统的数据库和数据处理技术已经不能满足需求。因此,新的数据处理技术和系统必…
-
【flink】Task 故障恢复详解以及各重启策略适用场景说明
文章目录 一. 重启策略种类(Restart Strategies) 1. Fixed Delay Restart Strategy 2. Failure Rate Restart…
-
基于python人脸识别系统 实时检测 深度学习 Dlib库 大数据 毕业设计(源码)✅
博主介绍:✌全网粉丝10W+,前互联网大厂软件研发、集结硕博英豪成立工作室。专注于计算机相关专业毕业设计项目实战6年之久,选择我们就是选择放心、选择安心毕业✌感兴趣的可以先收藏起来…
-
林浩然与Hadoop的奇幻数据之旅
林浩然与Hadoop的奇幻数据之旅 Lin Haoran and the Enchanting Data Journey with Hadoop 在一个名为“比特村”的地方,住着一…
-
【大数据】流处理基础概念(一):Dataflow 编程基础、并行流处理
流处理基础概念(一):Dataflow 编程基础、并行流处理 流处理基础概念(二):时间语义(处理时间、事件时间、水位线) 流处理基础概念(三):状态和一致性模型(任务故障、结果保…
-
Flink1.17.1消费kafka3.5中的数据出现问题Failed to get metadata for topics [flink].
问题呈现 Failed to get metadata for topics [flink]. at org.apache.flink.connector.kafka.source…
-
大数据实验 实验三:熟悉常用的HBase操作
实验三 熟悉常用的HBase操作 一、实验目的 (1)理解HBase在Hadoop体系结构中的角色; (2)熟练使用HBase操作常用的Shell命令; (3)熟悉HBase操作常…
-
Flink流数据窗口与时间
1.背景介绍 随着大数据时代的到来,流处理技术变得越来越重要。流处理系统可以实时地处理大量数据,为实时应用提供有价值的信息。Apache Flink是一个流处理框架,它可以处理大规…
-
对账平台设计
背景 随着公司业务的蓬勃发展,交易履约清结算业务的复杂性也在不断的增高,资金以及各种数据的一致性和准确性也变得越发重要。 以交易链路为例,存在着如下一些潜在的不一致场景: 订单支付…
-
喜讯!美创和大数据局用户的数据安全实践被“北大”录取
近日,宁波市镇海区大数据发展管理中心与美创科技联合申报的“数据安全运营中心建设项目” 经过多轮专家评审,入选“北京大学数字政府与数字治理案例集”,并收录于《北大公共治理案例库》! …
-
大数据导论期末复习知识汇总
目录 一、大数据概述 (一)数据和信息 (二)数据的组织形式和生命周期: (三)数据转化为信息的过程: (四)数据的价值 (五)大数据的内涵 (六)大数据的5V特性 (七)数据产生…
-
使用Flink处理Kafka中的数据
目录 使用Flink处理Kafka中的数据 前提: 一, 使用Flink消费Kafka中ProduceRecord主题的数据 具体代码为(scala) 执行结果 …
