大数据
-
hadoop-hdfs简介及常用命令详解（超详细）
文章目录 前言 一、HDFS概述 1. HDFS简介 2. HDFS架构 3. HDFS文件操作 二、HDFS命令介绍 1. hdfs命令简介 2. HDFS命令的基本语法 3. …
-
【项目实战】在win10上安装配置Hadoop的环境变量
一、说明 注意：该教程适用于：远程连接Linux上的Hadoop集群，因此本步骤是不需要在本地再下载hadoop的 在win10操作系统上，运行Hadoop以及其相关依赖包（比如H…
-
SPARK-RDD
1、什么是RDD 1.1、RDD五大核心属性 分区列表 RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。分区计算函数 Spark 在计算时，是使…
-
Flink on k8s容器日志生成原理及与Yarn部署时的日志生成模式对比
Flink on k8s部署日志详解及与Yarn部署时的日志生成模式对比 最近需要将flink由原先部署到Yarn集群切换到kubernetes集群，在切换之后需要熟悉flink …
-
数据包络分析DEA（数学建模）
一、模型背景 数据包络分析是线性规划模型的应用之一，常被用来衡量拥有相同目标的运营单位的相对效率。 数据包络分析是一种基于线性规划的用于评价同类型组织(或项目）工作绩效相对有效性的…
-
postgresql 内核源码分析 事务提交回滚状态记录 clog机制流程，commit log文件格式，事务状态为什么单独记录的原因，分组优化及leader更新机制
clog 介绍 专栏内容： postgresql内核源码分析 手写数据库toadb 并发编程 开源贡献： toadb开源库 个人主页：我的主页 管理社区：开源数据库 座右铭：天…
-
一文带你了解MySQL之undo日志
目录 一、事务回滚的需求 二、事务id 2.1 给事务分配id的时机 2.2 事务id是怎么生成的 2.3 trx_id隐藏列 三、undo日志的格式 3.1 INSERT操作对应…
-
flume环境配置-传输Hadoop日志（namenode或datanode日志）
解压文件 修改文件名 配置环境变量 执行flume-ng version 将flume-env.sh.template改名为flume-env.sh， 并修改其配置 启动Flu…
-
【Hadoop】高可用集群搭建
知识目录 一、写在前面💕 二、Zookeeper安装✨ 三、Hadoop配置✨ 四、Hadoop HA自动模式✨ 五、HA脚本分享✨ 七、结语💕 一…
-
大数据与AI人工智能：AI的影响与应对措施
1.背景介绍 大数据和人工智能(AI)是当今科技领域的热门话题。随着数据的庞大增长和计算能力的不断提升，人工智能技术已经取得了显著的进展。然而，这种技术的普及也带来了许多挑战和影响…
-
在线办公时代，如何选择合适的云办公软件？
文章目录 在线办公时代，如何选择合适的云办公软件？ 在线文档 石墨文档 腾讯文档 飞书文档 远程控制 ToDesk 向日葵 会议协同 腾讯会议 ZOOM 总结 在线办公时代，如何选…
-
Hadoop期末复习试题和答案
2. NameNode在启动时自动进入安全模式，在安全模式阶段，说法错误的是 A. 安全模式目的是在系统启动时检查各个DataNode上数据块的有效性 B. 根据策略对数据块进行必…
-
一篇文章教会你搭建Hive分布式集群
目录 编辑 一、环境描述 二、安装mysql 2.1 卸载mysql 2.1.1 列出安装的mysql 2.1.2 卸载mysql 2.1.3 删除mysql文件目录 2.1.3…
-
从零开始了解大数据(七)：总结
系列文章目录 从零开始了解大数据(一)：数据分析入门篇-CSDN博客 从零开始了解大数据(二)：Hadoop篇-CSDN博客 从零开始了解大数据(三)：HDFS分布式文件系统篇-C…
-
flink cdc多种数据源安装、配置与验证（超详细总结）
文章目录 1. 前言 2. 数据源安装与配置 2.1 MySQL 2.1.1 安装 2.1.2 CDC 配置 2.2 Postgresql 2.2.1 安装 2.2.2 CDC 配…
