大数据
-
人类思维与AI的潜意识：解密内心世界
1.背景介绍 人工智能（AI）已经成为现代科技的重要驱动力，它在各个领域都取得了显著的进展。然而，人工智能的核心问题仍然是如何让计算机具备类似于人类的思维和理解能力。人类思维是复杂…
-
【Spark系列3】RDD源码解析实战
本文主要讲 1、什么是RDD 2、RDD是如何从数据中构建 一、什么是RDD？ RDD：弹性分布式数据集，Resillient Distributed Dataset的缩写。 个人…
-
用户认证-Kerberos的介绍和使用(Hadoop、Hive、数仓流程、Presto、Kylin集成配置)
文章目录 介绍 概述 基本概念 认证原理 优点和缺点 安装和使用 安装Kerberos相关服务 修改配置文件 初始化KDC数据库 修改管理员权限配置文件 启动Kerberos相关服…
-
Flink 内容分享(二十七)：Hadoop vs Spark vs Flink——大数据框架比较
大数据开发离不开各种框架，我们通过学习 Apache Hadoop、Spark 和 Flink 之间的特征比较，可以从侧面了解要学习的内容。众所周知，Hadoop vs Spark…
-
第十章：未来趋势与挑战10.3 推动AI大模型的可持续发展10.3.1 开源协作与共享经济
1.背景介绍 随着人工智能技术的快速发展，AI大模型已经成为了许多应用领域的基石。然而，这些模型的训练和运行需要大量的计算资源和能源，导致了可持续发展的挑战。为了解决这一问题，我们…
-
Java基于大数据的超市进销存预警系统(源码+mysql+文档)
本系统（程序+源码）带文档lw万字以上 文末可领取本课题的JAVA源码参考 系统程序文件列表 系统的选题背景和意义 选题背景： 在当今社会，超市作为人们日常生活的重要组成部分，其…
-
深入理解 Hadoop （一）网络通信架构与源码浅析
深入理解 Hadoop （一）网络通信架构与源码浅析 深入理解 Hadoop （二）HDFS架构演进 深入理解 Hadoop （三）HDFS文件系统设计实现 深入理解 Hadoop…
-
FlinkSQL对接MySQL CDC写入数据到Hive
环境搭配 想要针对公司集群环境学习一下Flink对接MySQL CDC写入Hive的方法，并对过程进行记录。公司环境为CDH 6.3.2搭建的集群，MySQL使用的是AWS RDS…
-
Flink Checkpoint 超时问题详解
第一种、计算量大，CPU密集性，导致TM内线程一直在processElement，而没有时间做CP【过滤掉部分数据；增大并行度】 代表性作业为算法指标-用户偏好的计算，需要对用户在…
-
Flink的可读性与可维护性
1.背景介绍 Flink是一个流处理框架，用于实时数据处理和分析。它具有高吞吐量、低延迟和强大的状态管理功能。Flink的可读性和可维护性是其在实际应用中的关键特点。在本文中，我们…
-
2024最新Spark核心知识点总结
Spark 有哪些核心组件 master&worker：（spark独立部署模式里的概念）： master是一个进程，主要负责资源的调度和分配，进行集群的监控，类似于yar…
-
HBase的数据库与Apache Ranger的集成
1.背景介绍 HBase是一个分布式、可扩展、高性能的列式存储系统，基于Google的Bigtable设计。它是Hadoop生态系统的一部分，可以与HDFS、Hive、Pig、Zo…
-
NameNode和DataNode在HDFS中的作用是什么？
作者简介：一名后端开发人员，每天分享后端开发以及人工智能相关技术，行业前沿信息，面试宝典。 座右铭：未来是不可确定的，慢慢来是最快的。 个人主页：极客李华-CSDN博客 合作方式：…
-
HDFS HA 高可用集群搭建详细图文教程
目录 一、高可用（HA）的背景知识 1.1 单点故障 1.2 如何解决单点故障 1.2.1 主备集群 1.2.2 Active、Standby 1.2.3 高可用 1.2.4…
-
Hyperledger Fabric 应用实战（1）–前期准备
1. 应用整体概述 1.1应用说明 本应用示例基于Hyperledger fabric2.4搭建一个自由房屋租赁区块链系统freerent， 用户可以自由在链上开展合同签订、执行和…
