type
status
date
slug
summary
tags
category
icon
password
mysql写入hive，hive开启了Kerbero认证
DataX HdfsWriter 插件文档https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md
参数获取方法说明：
defaultFS：/alidata2/server/hadoop-3.3.5/etc/hadoop/core-site.xml
path：
要查看 Hive 中设置的数据仓库的存储路径，您可以查询 Hive 的配置参数
hive.metastore.warehouse.dir。您可以通过在 Hive CLI 或者 Beeline 中执行以下命令来查看此配置参数的值：这将显示 Hive 数据仓库的当前存储路径。请注意，这个路径通常位于 HDFS 中，例如：
hive.metastore.warehouse.dir=/gaohaifeng/hive/warehouse。如果您想在 Hadoop HDFS 中查看这个路径下的文件和目录，可以使用
hadoop fs -ls 命令，例如：请将
/gaohaifeng/hive/warehouse 替换为您实际的数据仓库路径。最终得到path：/gaohaifeng/hive/warehouse/ + 表名
writeMode：
- append，写入前不做任何处理，DataX hdfswriter直接使用filename写入，并保证文件名不冲突。
- nonConflict，如果目录下有fileName前缀的文件，直接报错。
- truncate，如果目录下有fileName前缀的文件，先删除后写入。
fieldDelimiter：通过建表语句查询表详情
最终fieldDelimiter：“\1”
解决方案
1、建表分隔符和导入时的分隔符不一致
1.修改建表分隔符
复制
2.建表时直接指定好分隔符
复制
3.针对分区表和无分区表的区别
最终配置：
【踩坑实录】datax从pg同步数据到hive数据全为null问题https://cloud.tencent.com/developer/article/2161115
DataX Hdfs HA(高可用)配置支持https://blog.csdn.net/qq_45688530/article/details/127239141
如果开启了HA，则hive中无论如何都无法执行成功，因为会一直报错：
此时则需要重构datax的hdfswriter插件，即 /datax/plugin/writer/hdfswriter/hdfswriter-0.0.1-SNAPSHOT.jar
将hdfs-site.xml hive-site.xml core-site.xml 文件压缩进jar中并替换
使用此方法配置后，datax json中连hadoopCofig参数都不需要配置了
- 作者:back
- 链接:https://jaychou.cf/article/8b9ac8ca87d545c1b86cf8f974233d17
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。