一. hive sync tool工具介绍
使用DataSource writer或HoodieDeltaStreamer写入数据支持将表的最新模式同步到Hive metastore,这样查询就可以获得新的列和分区。在这种情况下,最好从命令行或在一个独立的jvm中运行,Hudi提供了一个HiveSyncTool,一旦你构建了Hudi -hive模块,就可以如下所示调用它。以下是我们如何同步上述Datasource Writer写入的表到Hive metastore。
语法:
cd hudi-hive
./run_sync_tool.sh --jdbc-url jdbc:hive2:\/\/hiveserver:10000 --user hive --pass hive --partitioned-by partition --base-path <basePath> --database default --table <tableName>
二. 问题排查
hudi自身带的 hive sync tool会存在一定的问题,直接运行会报各种各样不同的错误。
修改
vim run_sync_tool.sh
- 解决hadoop依赖问题
注释这两行
新增两行
- 解决Parquet冲突
上传到/home/software目录
wget https://repo.maven.apache.org/maven2/org/apache/parquet/parquet-column/1.12.2/parquet-column-1.12.2.jar
三. 实操
代码:
cd /home/hudi-0.12.0/hudi-sync/hudi-hive-sync
./run_sync_tool.sh --jdbc-url jdbc:hive2:\/\/hp5:10000 --base-path hdfs://hp5:8020/tmp/hudi/flink_hudi_mysql_cdc5 --database test --table flink_hudi_mysql_cdc5
运行记录:
Flink SQL 查看建表语句:
Flink SQL> show create table flink_hudi_mysql_cdc5;
CREATE TABLE `hive_catalog`.`hudidb`.`flink_hudi_mysql_cdc5` (
`id` BIGINT NOT NULL,
`name` VARCHAR(100),
CONSTRAINT `PK_3386` PRIMARY KEY (`id`) NOT ENFORCED
) WITH (
'write.precombine.field' = 'name',
'compaction.async.enabled' = 'false',
'hoodie.datasource.write.recordkey.field' = 'id',
'path' = 'hdfs://hp5:8020/tmp/hudi/flink_hudi_mysql_cdc5',
'connector' = 'hudi',
'changelog.enabled' = 'true',
'table.type' = 'MERGE_ON_READ'
)
Hive端查看建表语句:
文章来源:https://www.toymoban.com/news/detail-434432.html
MySQL 端持续插入数据:文章来源地址https://www.toymoban.com/news/detail-434432.html
DELIMITER //
CREATE PROCEDURE p5()
BEGIN
declare l_n1 int default 21;
while l_n1 <= 10000000 DO
insert into mysql_cdc (id,name) values (l_n1,concat('test',l_n1));
set l_n1 = l_n1 + 1;
end while;
END;
//
DELIMITER ;
参考:
- https://hudi.apache.org/docs/0.12.0/syncing_metastore
到了这里,关于Hudi系列15:Hudi元数据同步到Hive的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!