大数据
-
Hive Case When与IF的用法（嵌套、混合使用）
1、CASE WHEN 1.1、CASE WHEN 语法 case when 条件表达式 then 条件成立，结果1 else 条件不成立，结果2 end 1.2、单个条件 1.2…
-
使用 LangChain 和 Elasticsearch 对私人数据进行人工智能搜索
关于本博文的所有代码可以在地址下载：GitHub – liu-xiao-guo/python-vector-private 我将在本博文中其中深入研究人工智能和向量嵌入…
-
Spark SQL简介与基本用法
Apache Spark是一个强大的分布式计算框架，Spark SQL是其组件之一，用于处理结构化数据。Spark SQL可以使用SQL查询语言来查询和分析数据，同时还提供了与Sp…
-
数据仓库安全与隐私：保护措施与实践
1.背景介绍 数据仓库安全与隐私是当今数据驱动经济的关键问题之一。随着数据的积累和分析的重要性不断提高，数据仓库的安全和隐私保护成为了企业和组织的重要议题。数据仓库安全与隐私的保护…
-
Flink 处理函数（1）—— 基本处理函数
在 Flink 的多层 API中，处理函数是最底层的API，是所有转换算子的一个概括性的表达，可以自定义处理逻辑 在处理函数中，我们直面的就是数据流中最基本的元素：数据事件（eve…
-
hadoop YARN详解
YARN 概念 YARN 是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）、NodeManager（NM）、ApplicationMaste…
-
数理统计的深度学习：探索大数据的潜在能量
1.背景介绍 随着数据的不断增长，人工智能技术也随之发展迅速。深度学习技术在处理大规模数据方面表现出色，成为人工智能领域的重要技术之一。数理统计学则是研究数据的概率分布和统计规律的…
-
数据采集的大数据：如何处理和分析巨量数据
1.背景介绍 大数据技术已经成为当今世界各行各业的核心技术之一，它为企业和组织提供了更高效、更智能的决策支持和业务优化。数据采集是大数据处理过程的第一步，它涉及到的技术和方法非常多…
-
利用大数据提高海洋环境监测的准确性
1.背景介绍 海洋环境监测是一项重要的科学研究和实践活动，它涉及到海洋生态系统的保护、海洋资源的开发、海洋气候变化的研究等方面。随着海洋环境监测的复杂性和规模的增加，传统的监测方法…
-
【数据开发】大数据平台架构，Hive / THive介绍
1、大数据引擎 大数据引擎是用于处理大规模数据的软件系统， 常用的大数据引擎包括Hadoop、Spark、Hive、Pig、Flink、Storm等。 其中，Hive是一种基于Ha…
-
Spark与Elasticsearch案例
1.背景介绍 1. 背景介绍 Apache Spark和Elasticsearch都是现代大数据处理和分析领域中的重要工具。Spark是一个快速、高效的大数据处理引擎，可以处理批量…
-
智慧校园大数据云平台介绍
云平台技术介绍 过去几十年里，数据中心技术发生了天翻地覆的变化， 2000年前后的互联网发展推动了数据中心从大型机时代转向独立服务器和集中存储架构。相比之下，独立服务器带来了比大型…
-
【论文精读】BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
自然语言处理（Natural Language Processing，NLP）领域内的预训练语言模型，包括基于RNN的ELMo和ULMFiT，基于Transformer的OpenA…
-
Spark–一文了解WebUI
文章目录 前言 一、认识Spark UI 二、Jobs 2.1 了解jobs 2.2 关于job我们需要知道的小知识 2.2.1 多个job可以并行执行吗 2.2.2 job是如何…
-
Flink提交jar出现错误RestHandlerException: No jobs included in application.
今天打包一个flink的maven工程为jar，通过flink webUI提交，发现居然报错。 如上图所示，提示错误为： Server Response Message: org….
