Hive分区表实战 – 单分区字段

• 大数据

文章目录

  • 一、实战概述
  • 二、实战步骤
    • （一）创建图书数据库
    • （二）创建国别分区的图书表
    • （三）在本地创建数据文件
    • （四）按分区加载数据
      • 1、加载中文书籍数据到`country=cn`分区
      • 2、加载英文书籍数据到`country=en`分区
    • （五）查看分区表book全部记录
    • （六） 通过HDFS查看分区对应的目录及文件
    • （七）手动创建分区并上传数据
      • 1、在HDFS上手动创建`country=jp`分区目录
      • 2、创建日文书籍数据文件`jp_book.txt`
      • 3、上传文件到HDFS日本分区目录
      • 4、更新元数据以识别新分区
    • （八）再次查看book表全部记录
    • （九）删除指定分区
    • （十）更改分区名
    • （十一）在MySQL中查看Hive元数据（分区信息）
      • 1、登录MySQL Hive Metastore数据库
      • 2、 查看book表分区元数据信息
  • 三、实战总结

一、实战概述

  • 在本Hive分区表管理实战中，我们通过一系列实际操作演示了如何有效地利用分区功能来组织和查询大规模数据。首先，创建了一个名为book的内部分区表，其结构包含id与name字段，并根据country字段进行分区。接下来，准备并加载了不同国家（中国和英国）书籍的数据文件到对应的分区目录中。

  • 为了展示分区灵活性，我们还模拟了手动创建新分区（日本），上传数据文件并通过msck repair table命令将新分区纳入表的元数据管理中。此外，实战还涉及分区的删除、重命名等操作，直观展示了Hive如何同步更新分区状态至HDFS存储及元数据层面。

  • 最后，通过查看MySQL中Hive Metastore数据库的相关表信息，揭示了Hive如何记录分区的具体元数据内容，包括分区位置等关键信息。整个实战过程充分展现了Hive分区表在提升查询效率、实现数据分类存储以及简化数据管理方面的强大能力。

二、实战步骤

（一）创建图书数据库

  • 执行命令：create database bookdb;

    在这里插入图片描述

  • 执行命令：use bookdb;，切换到bookdb数据库

    在这里插入图片描述

（二）创建国别分区的图书表

  • 执行语句：create table book (id int, name string) partitioned by (country string) row format delimited fields terminated by ‘ ‘;，创建book表

    在这里插入图片描述

（三）在本地创建数据文件

  • 在master虚拟机上创建中文书籍数据文件cn_book.txt

    在这里插入图片描述

  • 在master虚拟机上创建英文书籍数据文件en_book.txt

    在这里插入图片描述

（四）按分区加载数据

1、加载中文书籍数据到country=cn分区

  • 执行语句：load data local inpath ‘/root/cn_book.txt’ overwrite into table book partition(country=’cn’);

    在这里插入图片描述

2、加载英文书籍数据到country=en分区

  • 执行语句：load data local inpath ‘/root/en_book.txt’ overwrite into table book partition(country=’en’);

    在这里插入图片描述

（五）查看分区表book全部记录

  • 执行语句：select * from book;，注意：第三列是分区字段

    在这里插入图片描述

（六） 通过HDFS查看分区对应的目录及文件

  • 使用HDFS Shell命令检查/user/hive/warehouse/bookdb.db/book（假设这是hive表的默认存储位置）下的country=cn和country=en分区目录及其内部的数据文件。
  • 执行命令：hdfs dfs -ls -r /user/hive/warehouse/bookdb.db/book

    在这里插入图片描述

（七）手动创建分区并上传数据

1、在HDFS上手动创建country=jp分区目录

  • 执行命令：hdfs dfs -mkdir /user/hive/warehouse/bookdb.db/book/country=jp

    在这里插入图片描述

2、创建日文书籍数据文件jp_book.txt

  • 在master虚拟机上创建jp_book.txt

    在这里插入图片描述

3、上传文件到HDFS日本分区目录

  • 执行命令：hdfs dfs -put jp_book.txt /user/hive/warehouse/bookdb.db/book/country=jp

    在这里插入图片描述

4、更新元数据以识别新分区

  • 执行语句：msck repair table book;

    在这里插入图片描述

（八）再次查看book表全部记录

  • 执行语句：select * from book;，注意：第三列是分区字段

    在这里插入图片描述

（九）删除指定分区

  • 执行语句：alter table book drop partition (country=’jp’);，删除country=jp分区

    在这里插入图片描述

  • 此时，查看分区表全部记录，就会发现没有日本书籍记录

    在这里插入图片描述

（十）更改分区名

  • 将原有country=cn分区重命名为country=zh，执行语句：alter table book partition (country=’cn’) rename to partition (country=’zh’);

    在这里插入图片描述

  • 此时，查看分区表全部记录

    在这里插入图片描述

（十一）在MySQL中查看Hive元数据（分区信息）

1、登录MySQL Hive Metastore数据库

  • 执行命令：mysql -uroot -p903213，登录MySQL，然后执行use hive;，打开hive元数据库

    在这里插入图片描述

2、 查看book表分区元数据信息

  • 执行语句：SELECT * FROM COLUMNS_V2;，book分区表的CD_ID值是27

    在这里插入图片描述

  • 执行语句：SELECT SD_ID, CD_ID, LOCATION FROM SDS WHERE CD_ID = 27;

    在这里插入图片描述

三、实战总结

  • 本实战演练全面展示了如何在Hive中创建和管理分区表，通过实际操作演示了数据按国别分区存储、加载与查询的全过程。从创建book表开始，依次完成了数据文件准备、分区数据加载、分区查看及更新元数据等任务，并进一步演示了分区的增删改查操作，最后通过MySQL查看Hive Metastore中记录的分区元数据信息，充分体现了Hive分区表在提升查询效率与简化数据管理方面的优势。

本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/cbdf81138b.html

赞 (0)
« 上一篇 1天前
下一篇 » 1天前

相关推荐