大数据
-
HDFS中的NAMENODE元数据管理（超详细）
元数据管理 元数据是什么 元数据管理概述 内存元数据 元数据文件 fsimage内存镜像文件 edits log编辑日志 namenode加载元数据文件顺序 元数据管理相关目录文件…
-
掌握Spark的数据序列化和压缩技术
1.背景介绍 在大数据处理领域，Apache Spark作为一个快速、灵活的大数据处理框架，已经成为了许多企业和研究机构的首选。Spark的核心功能包括数据处理、机器学习、图形计算…
-
hadoop shell操作 hdfs处理文件命令 hdfs上传命令 hadoop fs -put命令hadoop fs相关命令 hadoop(十三)
hadoop fs -help rm 查看rm命令作用 hadoop fs 查看命令 1. 创建文件夹： # hdfs前缀也是可以的。更推荐hadoop hadoop fs -mk…
-
还在做 Hadoop 生态？那我祝你一帆风顺
上回说到，我决定走出大数据的围城，用另一种视角审视与复盘行业。 文章发出后收到很多读者的反馈，其中呼声比较高的一条是希望我能聊聊大数据的行业前景与思考。针对这个问题，后面我会分享一…
-
Hadoop 安装与配置
创建虚拟机 这里需要下载ubuntu操作系统 创建一个hadoop用户，并使用/bin/bash 作为shell 虚拟机打开成功后，打开终端Terminal，开始创建hadoop用…
-
Python大数据之PySpark(二)PySpark安装
文章目录 PySpark安装 环境搭建-Standalone 环境搭建StandaloneHA 后记 PySpark安装 1-明确PyPi库，Python Package Inde…
-
从0到1构建智能分布式大数据爬虫系统
文章目录 1. 写在前面 2. 数据获取挑战 3. 基础架构 4. 爬取管理 5. 数据采集 6. 增量与去重设计 【作者主页】：吴秋霖 【作者介绍】：Python领域优质创作者、…
-
【程序猿包邮送书：第四期】《分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践》
🌹欢迎来到爱书不爱输的程序猿的博客, 本博客致力于知识分享，与更多的人进行学习交流 爱书不爱输的程序猿：送书第三期 🚩🚩Ƕ…
-
使用Elasticsearch进行分组聚合统计
要使用Elasticsearch进行分组聚合统计，可以使用聚合（aggregation）功能。聚合操作允许您根据指定的条件对文档进行分组，并计算每个分组的聚合结果。 针对普通类型的…
-
HCIA-Big Data V3.0 华为认证大数据工程师在线课程章节测试题汇总
1.大数据发展趋势与鲲鹏大数据 1、(单选)以下哪个不是大数据时代新兴的技术: A.HBase B.Hadoop C.MySQL D.Spark 正确答案：C 2、(单选)第三次信…
-
实践解决：IDEA2022版本创建Maven项目时没有出现src目录
大家好，我是小白DunkIT，今天给大家分享一下我最近遇到的IDEA2022.3版本创建Maven项目时出现没有src目录的问题。 问题：IDEA创建Maven项目时没有出现src…
-
Amazon SageMaker测评
Amazon SageMaker测评 1 前言 2 功能体验 2.1 构建域 2.2 上传数据集 2.3 设置 SageMaker Canvas 2.4 构建、训练与分析 ML 模…
-
Elasticsearch 核心技术（十）：GEO 地理查询（geo
❤️ 博客主页：水滴技术 🚀 支持水滴：点赞👍 + 收藏⭐ + 留言💬 🌸 订阅专栏：大数据核心技术从入门到精通 文…
-
k8s部署es, 容器一直重启, 报错提示“Back-off restarting failed container“
minikube部署ES(单节点)异常定位过程 最近学习k8s, 在win10的minikube上部署ES, 容器一直在重启, 报错提示只有”Back-off rest…
-
真题解析 | 2022数模美赛C题：股票投资策略
1、准备工作 1.1 题目背景 市场交易者频繁买卖波动性资产，目标是最大化其总回报。每次买卖通常都会有佣金。 两种这样的资产是黄金和比特币。 图 1：黄金每日价格，每金衡盎司美元。…
