etl
-
DataX VS Kettle，深度对比分析
1.前言 开源的 ETL工具里面 DataX和 Kettle的人气一直高居不下，datax虽然比较年轻，但这两年发展势头很猛，不时就能听到身边的同事谈起。kettle作为老牌的 e…
-
ETL工具 – JAVA 调用 Kettle 转换、作业脚本
一、JAVA 调用 Kettle 转换 在写 Java 程序前，先使用 Spoon 设计一下转换的过程，这里以拉取 CSDN 文章列表存入 txt 文本为例： 拉取的接口为 htt…
-
2024.1.7 Spark SQL , DataFrame
目录 一 . SparkSQL简介 二 . Spark SQL与HIVE的异同 三 . DataFrame 1. 创建 DataFrame 2. RDD转换DataFrame …
-
ETL基础概念及要求详解
ETL基础概念及要求详解 概念 ETL与ELT 数据湖与数据仓库 ETL应用场景 ETL具体流程及操作要求 抽取 清洗 转换 加载 ETL设计模式 SQL+脚本语言 ETL工具设计…
-
如何部署WebSpoon9.0.0(Kettle的Web版本)
前言 Kettle 是小有名气的开源ETL工具，现已改名为PDI（Pentaho Data Integration），其Web版本为：WebSpoon，本文记录了从官方Git仓库中…
-
Storm的数据库与ETL集成: 实时数据处理与传统数据仓库协同
1.背景介绍 实时数据处理在大数据时代具有重要意义。传统的数据仓库和ETL技术主要面向批处理，而实时数据处理则需要一种更加高效、实时的处理方式。Apache Storm是一个开源的…
-
基于Flink CDC实时同步数据（MySQL到MySQL）
一、环境 jdk8 Flink 1.16.1（部署在远程服务器：192.168.137.99） Flink CDC 2.3.0 MySQL 8.0（安装在本地：192.168.3….
-
大数据ETL工具对比（Sqoop, DataX, Kettle）
前言 在实习过程中，遇到了数据库迁移项目，对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成，公司和客户使用的比较多的是Sqoop, DataX和Kettle这三种工具。…
-
kettle系列(2)kettle连接sql sever
在系列(1)已经介绍过kettle以及使用了，这次就直接正题 kettle使用，进行sql sever连接 版本: kettle 7.1 sql sever 2022 环境: …
-
【ETL工具】Datax-ETL-SqlServerToHDFS
🦄 个人主页——🎐个人主页 🎐✨🍁 🪁🍁🪁🍁…
-
ETL工具 – Kettle 介绍及基本使用
一、Kettle 介绍 在介绍 Kettle 前先了解下什么是 ETL，ETL是 Extract-Transform-Load 的缩写，即数据 抽取、转换、装载 的过程，对于企业或…
