大数据
-
mv: 无法获取“/opt/module/hadoop/logs/hadoop-atguigu-nodemanager-hadoop102.out.1“ 的文件状态(stat): 没有那个文件或目录
最近在回顾之前做过的离线数仓项目,在启动hadoop时出现了如下错误: hadoop102: mv: 无法获取”/opt/module/hadoop/logs/hadoop-atg…
-
大数据毕设分享 python大数据房价预测与可视化系统
# 0 简介 今天学长向大家介绍一个适合作为毕设的项目 毕设分享 python大数据房价预测与可视化系统 项目获取: https://gitee.com/sinonfin/algo…
-
实时Flink大数据分析平台的流式计算模型
1.背景介绍 在大数据时代,实时分析和处理数据变得越来越重要。Apache Flink是一种流处理框架,它可以处理大量数据并提供实时分析。在本文中,我们将深入了解Flink的流式计…
-
【头歌】大数据从入门到实战 – 第2章 分布式文件系统HDFS
第1关:HDFS的基本操作 任务描述 本关任务:使用 Hadoop 命令来操作分布式文件系统。 编程要求 在右侧命令行中启动 Hadoop ,进行如下操作。 在 HDFS 中创建 …
-
基于大数据的招聘数据分析与可视化实现 (毕业设计 爬虫 大数据)
目录 一、开发背景 二、研究目标: 三、选题依据: 四、初步设想 五、突破点 六、预期成果 一、开发背景 随着互联网行业的快速发展和企业的不断扩张,招聘市场变得愈发竞争激烈。为了更…
-
Python模块之psutil详解
一、psutil模块: 1.psutil是一个跨平台库(http://pythonhosted.org/psutil/)能够轻松实现获取系统运行的进程和系统利用率(包括CPU、内存…
-
Flink 系例 之 Dashboard 安装与界面操作
前期入门讲解了需多常用算子、方法、和连接器的使用与代码示例,本文讲解如何安装 Apache Flink Dashboard 平台与界面基本操作。 Apache Flink Dash…
-
Hive09
HIVE函数 系统内置函数 1)查看系统自带的函数 hive> show functions; 2)显示自带的函数的用法 hive> desc function upp…
-
Hive中的炸裂、窗口函数及示例
一、炸裂函数 针对一行数据,输出多行数据,主要用于map,array这种的 根据一个例子来看: friends 是一个array数组 students 是一个map address…
-
大数据——HDFS(分布式文件系统)
一,分布式系统概述 Hadoop的两大核心组件 HDFS(Hadoop Distributed Filesystem):是一个易于扩展的分布式文件系统,运行在成百上千台低成本的机…
-
flink sql1.18.0连接SASL
阅读此文默认读者对docker、docker-compose有一定了解。 环境 docker-compose运行了一个jobmanager、一个taskmanager和一个sql-…
-
【开题报告】基于大数据的北京市租房的数据分析与可视化
题 目 基于大数据的北京市租房的数据分析与可视化 一、选题的目的、意义、研究现状,本选题研究的基本内容、拟解决的主要问题: (一)选题的目的及意义 随着一届又一届的大四学生即将毕…
-
搭建hadoop初次格式化 格式化了很多次报错解决方案(亲测好用)
在搭建完hadoop集群时,初次启动HDFS集群,需要对主节点进行格式化操作,其本质是清理和做一些准备工作,因为此时的HDFS在物理上还是存在的。而且主节点格式化操作只能进行一次。…
-
真·保姆级——在VMware的Ubuntukylin上进行Hadoop单机/伪分布式安装时安装VMware Tools后虚拟机与物理机之间无法传输文件和复制粘贴的问题(附Ubuntu更改默认登录用户)
目录 一、前言 二、版本信息 三、hadoop用户创建 1.创建hadoop用户 2.在创建hadoop用户后对系统进行重启 四、解决办法 4.1 更改默认登陆用户 4.2 安装V…
-
《2023大数据产业年度创新技术突破》榜重磅发布丨第六届金猿奖
第六届年度金猿榜单/奖项 “第六届年度金猿季策划活动——2023大数据产业创新技术突破榜单/奖项”由金猿X数据猿X上海大数据联盟共同推出。 大数据产业创新服务媒体 ——聚焦数据…
