大数据
-
flink作业 windowAll 转换window
一. windowAll 和window介绍 datastream 流中没有使用keyby需要使用windowAll函数，使用了keyby的需要使用window函数 Keyed W…
-
【大数据入门核心技术-Doris】（三）Doris基本Shell和数据模型
一、环境准备 参考 【大数据入门核心技术-Doris】（二）Doris安装部署_forest_long的博客-CSDN博客 二、基本增删改查语句 一、DCL 1、登录 mysql …
-
stata回归？固定效应模型（组内变换OR LSDV最小二乘法）
面板数据分析与Stata应用笔记整理自慕课上浙江大学方红生教授的面板数据分析与Stata应用课程，笔记中部分图片来自课程截图。 笔记内容还参考了陈强教授的《高级计量经济学及Stat…
-
文献回顾 | 你还在这样使用工业企业数据库吗?
你还在这样使用工业企业数据库吗？ 编者按：本文根据聂辉华、江艇、杨汝岱三位学者的《中国工业企业数据库的使用现状与潜在问题》（世界经济，2012）总结而成。 众所周知的是，中国工业企…
-
大数据StarRocks(三) StarRocks数据表设计
1. 列式存储 1.1 列式存储方式有以下几个优点： 1.快速的数据查询 由于数据是按照列进行存储的，所以查询某个列时只需要读取该列所在的块，而不是整行数据，从而大大提高了查询效率…
-
大数据篇Kafka消息队列指定Topic打印Key、Value、Offset和Partition
1、概念简介 说到Apache Kafka消息传递系统时，以下是一些关键概念的解释： Key（键）：Kafka消息由Key和Value组成。Key是一个可选的字段，它通常用于消息的…
-
大数据与人工智能：改变交通运输行业的未来
1.背景介绍 交通运输行业是现代社会的重要组成部分，它为人们提供了方便快捷的出行方式。然而，随着人口增长和城市发展，交通拥堵、交通事故、交通拥堵等问题日益严重，对于交通运输行业的发…
-
kafka启用SASL认证后使用kafka-consumer-groups.sh查看消费组报错的问题
解决SASL认证类型kafka在使用kafka-consumer-groups.sh查看消费组数据时，报以下异常的问题 Error: Executing consumer grou…
-
Hudi源码|Insert源码分析总结（一）(整体流程)
前些天发现了一个巨牛的人工智能学习网站，通俗易懂，风趣幽默，忍不住分享一下给大家。点击跳转到网站：https://www.captainai.net/dongkelun 前言 Ap…
-
大数据Doris（四十八）：Doris的动态分区示例与查看动态分区表调度情况
文章目录 Doris的动态分区示例与查看动态分区表调度情况 一、示例
-
大数据采集技术与预处理学习一：大数据概念、数据预处理、网络数据采集
目录 大数据概念： 1.数据采集过程中会采集哪些类型的数据？ 2.非结构化数据采集的特点是什么？ 3.请阐述传统的数据采集与大数据采集的区别？ 4.大…
-
深入理解 Flink（三）Flink 内核基础设施源码级原理详解
深入理解 Flink 系列文章已完结，总共八篇文章，直达链接： 深入理解 Flink （一）Flink 架构设计原理 深入理解 Flink （二）Flink StateBacken…
-
使用 PySpark 进行数据清洗与 JSON 格式转换的实践详解（保姆级编码教程）
在大数据处理中，PySpark 提供了强大的工具来处理海量数据，特别是在数据清洗和转换方面。本文将介绍如何使用 PySpark 进行数据清洗，并将数据格式转换为 JSON 格式的实…
-
为什么说新一代流处理器Flink是第三代流处理器(论点:发展历史、区别、适用场景)
Flink 被认为是第三代流处理器，这是因为 Flink 在设计时参考了前两代流处理器的经验教训并引入了一些新的技术和思想，从而使得 Flink 具有更高的性能和更广…
-
SqlServer数据库定时清理数据，仅保留指定时间段内的数据——高效处理大数据
SqlServer数据库定时清理数据，仅保留指定时间段内的数据——高效处理大数据 引言： 在日益增长的数据量下，保持数据库的健康状态变得尤为重要。对于大数据场景中的SqlServe…
