-
hive无法insert数据_hive with as insert
- 网站名称:hive无法insert数据_hive with as insert
- 网站分类:技术文章
- 收录时间:2025-09-22 16:40
- 网站地址:
“hive无法insert数据_hive with as insert” 网站介绍
hive版本hive-1.1.2
同事反馈一个客户端使用op无法正常插入数据,SQL如下
hive --hiveconf mapreduce.job.queuename=root.normal_queues.backstage.yfzx.op --hiveconf mapreduce.job.name="client_10.142.97.123:3000420211211:hql##pdwd.pdwd_pf_test2:1:dwarch:20210908_1:xiaoli" -e "insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211')
select path from yfzx.hdfs_fsimage_analyze where dt = '20211212' and ns in ('ns3');"
yfzx.hdfs_fsimage_analyze表是创建在ns2,表pdwd.pdwd_pf_test2是创建在ns3,执行时抛出如下异常:
乍一看,以为是kerberos问题。他怀疑是两个表跨ns导致不能insert的。我做了如下一个测试
insert overwrite table pdwd.pdwd_pf_test2 PARTITION (pt = '20211211') select 'test_path';
执行也是抛出上面的异常,通过这个测试排除跨ns问题导致的。也就是当前op用户写入到ns3就是不行。于是去查看yarn的详细日志,看到的异常信息和上面差不多,但是info信息里发现了如下信息:
我们看到这个info里有ns3和ns4,于是去查看该节点的hive-site配置文件,发现了ns4的踪影,如下
因为这个表是写ns3的,于是把这些配置都改成写入ns3,重新执行上面SQL,SQL成功执行。通过这个问题我们发现,kerberos异常是表象,用kerberos知识去解决是解决不了的,我们要多留意有用的信息。这个确实是跨域导致无法写入,但是不是读表和写表跨域导致的,而是mr执行中间过程跨域导致的,也就是参数hive.exec.scratchdir导致
更多相关网站
- 在实际操作过程中如何避免出现SQL注入漏洞
- MyBatis-Plus码之重器 lambda 表达式使用指南,开发效率瞬间提升80%
- 第三篇|Spark SQL编程指南_spark sql语句
- hive相关概念详解--架构、读写文件机制、数据存储
- Mybatis入门看这一篇就够了_mybatis教程视频
- 在 MySQL 中使用 UUID 作为主键的存在问题及如何优化?
- 好程序员大数据培训分享Hive的静态分区与动态分区
- 盘点JPA中的骚操作_jpa ql
- 大雨暴雨!考生注意,昆明将迎强降雨,最强时段在→
- 大数据Hadoop之——数据仓库Hive_hadoop数据仓库实战肖睿
- 福建新画卷,把福建成绩“画”给你看!
- hive存储过程_hive存储过程setenv
- 大数据调度平台 Airflow(六):Airflow Operators 及案例
- 从0到1详解Apache Hive_apache-hive-2.1.1-bin.tar.gz
- 记一次生产环境jvm内存泄漏的排查
- 为什么很多人不愿意用hibernate了?
- 数仓|HQL隐藏错误的坑,你遇到过吗?
- 最近发表
- 标签列表
-
- mydisktest_v298 (35)
- sql 日期比较 (33)
- document.appendchild (35)
- 头像打包下载 (35)
- 梦幻诛仙表情包 (36)
- java面试宝典2019pdf (26)
- disk++ (30)
- 加密与解密第四版pdf (29)
- iteye (26)
- centos7.4下载 (32)
- intouch2014r2sp1永久授权 (33)
- jdk1.8.0_191下载 (27)
- axure9注册码 (30)
- 兔兔工程量计算软件下载 (27)
- ccproxy破解版 (31)
- aida64模板 (28)
- engine=innodb (33)
- shiro jwt (28)
- segoe ui是什么字体 (27)
- head first java电子版 (32)
- clickhouse中文文档 (28)
- jdk-8u181-linux-x64.tar.gz (32)
- 计算机网络自顶向下pdf (34)
- -dfile.encoding=utf-8 (33)
- jdk1.9下载 (32)