Hive插入数据警告：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions
Hive插入表数据持续等待警告问题解决
-
- 1、问题描述
- 2、原因分析
- 3、问题解决
1、问题描述
启动Hadoop，使用hiveserver2启动Hive的JDBC服务并使用IDE连接到Hive，创建表成功，但是INSERT插入数据时经过长时间加载后无法得到预期结果，插入不成功。IDE最终也会提示错误，但仅仅是一个网络异常。Linux控制台显示警告：
WARNING：Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. Query ID = root_20231112140522_fda3dd73-cfa3-4f62-a925-aa02cc107526 Total jobs = 3 Launching Job 1 out of 3 Number of reduce tasks is set to 0 since there's no reduce operator
然后使用hive命令换为Hive的控制台操作，结果依旧如此
2、原因分析
经过分析警告翻译：
Hive-on-MR在Hive 2中已弃用，并且在未来版本中可能不可用。考虑使用不同的执行引擎（例如Spark、Tez）或使用Hive 1.x版本
我们发现，这就很明显了，说明Hive在2.x版本中已经不支持MapReduce了，让你换为Spark或Tex
然而，很多小伙伴都是本地测试时使用的INSERT，更换Spark、Tez可不是那么容易；实际工作中根据生产环境需要可直接进行引擎修改，甚至都不用你修改，底层自动优化自动选择执行引擎
那我要是就不想换，你还能不让我不用MapReduce了？
3、问题解决
经过查找资料，网友们发现将Hive设置成本地模式来执行任务允许你使用MapReduce
1） 临时设置Hive本地模式：
set hive.exec.mode.local.auto=true;
2） 永久设置Hive本地模式：
修改Hive配置文件hive-site.xml，添加如下属性配置：
hive.exec.mode.local.auto
true
修改配置后需要重启Hive
3） 验证
再次执行INSERT操作，很快就能完成：
HDFS数据也能写入：
本文来自网络，不代表协通编程立场，如若转载，请注明出处：https://net2asp.com/3cdf1e5fd0.html
相关推荐
-
web系统设计安全性基本要求
接口设计安全 身份鉴别 独立的登录模块：为社会用户和平台运营管理用户提供独立的登录地址、登录界面和身份认证模块，通过防火墙等设备严格限制能够登录WEB应用的用户地址、身份； 双因素…
-
springboot-结合前端实现网页跳转
springboot-前后端实现网页跳转（不含get、post请求） 总结 前端篇 编写首页 后端篇 创建springboot项目 配置maven 创建controller类 运行…
-
Flink的部署模式：Local模式、Standalone模式、Flink On Yarn模式
Flink常见的部署模式 Flink部署、执行模式 Flink的部署模式 Flink的执行模式 Local本地模式 下载安装 启动、停止Flink 提交测试任务 停止作业 Stan…
-
Vue 实现轮播图功能
Vue 是一款流行的前端框架，它提供了一系列的工具和组件，使得开发者可以更加便捷地创建交互式的 Web 应用程序。轮播图是 Web 应用程序中常见的一种交互式组件，可以用来展示图片…
-
vue获取+设置光标位置 光标定位 选择输入框文本
版本：vue2、vant2 在vue是用ref、 r e f s 获取 d o m 的，在 v a n t 框架里 v a n − f i e l d 是输入框组件，它不支持直接设…
-
15 个非常流行的VsCode插件，让你的编码效率倍增！
VS Code已经成为了最受欢迎的代码编辑器之一。 它的简洁性、易用性和可扩展性使得它成为了许多开发者的首选。 本文中，将介绍15个非常流行的VS Code插件，这些插件可以让你的…
-
Vue的SSR介绍
与传统 SPA 相比，服务器端渲染 (SSR) 对SEO更加友好，方便搜索引擎爬虫抓取，可以直接查看完全渲染的页面，除此之外，SSR能够在更短的时间内渲染出页面内容，让…
-
hadoop3.3.4安装及启动
1.虚拟机的安装 此处我选择的是VMware,激活码可以百度搜索，安装过程比较缓慢，需要耐心等待 ——————…
-
vue项目实现图片缩放与拖拽功能
在项目开发中遇到一个需求： 1：用鼠标滚轮可对图片进行缩放处理 2：点击按钮可对图片进行缩放处理 3：可对图片进行拖拽处理 我在开发中通过自己实现与百度查看优秀的铁子进行了两种类型…
-
错误 [ERR
今天写代码安装一个插件的时候，刚安装好运行，就给我报了这个错。 Error [ERR_REQUIRE_ESM]: require() of ES Module 总结就是来说，这个不…
