一 sql gateway
注意 之所以直接启动gateway 能知道yarn session 主要还是隐藏的配置文件,但是配置文件可以被覆盖,多个session 保留最新的applicationid
1 安装flink (略)
2 启动sql-gatway(sql-gateway 通过官网介绍只能运行在session 任务中)
2-1 启动gateway 之前先启动一个flink session ./bin/yarn-session.sh -d
2-2 启动命令 :
./bin/sql-gateway.sh start -Dsql-gateway.endpoint.rest.address=localhost
2-3 查看日志观察是否启动成功:
查看日志出现这个条信息就证明已经找到了flink session applicationId
可以观察到 yarn-properties-yarn 文件中存在一个session applicationId 这个applicationId是覆盖关系当启动多个session 的时候 这里只保存最新创建的那个
[图片]
Sql-gateway 默认端口是8083 启动成功后可以通过http 方式进行访问
[图片]
3 Flink 原生支持 REST Endpoint 和 HiveServer2 Endpoint。
SQL Gateway 默认集成 REST Endpoint。由于架构的可扩展性,用户可以通过指定 endpoint 来启动 SQL Gateway。我们测试是rest 加gateway jdbc方式。
4 Rest api 提交任务
4-1 获得一个 session 这里的session 的意思是当前连接草的人获取的一个唯一编码,当拿到这个sessionid后后续所有的所有操作都跟他关联。
[图片]
4-2 提交一个任务:黄色框 是上一步获取的sessionid 蓝色框是需要提供的sql 任务,绿色框是提交任务后获取结果的一个唯一编码
[图片]
4-3 获取结果:
[图片]
二 gateway jdbc
1 环境准备 flink-jdbc-driver-bundle-1.18.jar放到 {HIVE_HOME}/lib 目录中
2 beeline 连接 (地址为上一步启动的sql getewat 地址)
2-1 beeline
2-2 beeline> !connect jdbc:flink://xxx.xxx.xxx.xxx:8083
当出现这种日志连接成功
[图片]
3 创建一个 hdfs 表 并且插入数据
CREATE TABLE D(a INT, b VARCHAR(10)) WITH (
'connector' = 'filesystem',
'path' = 'hdfs:///tmp/T.csv',
'format' = 'csv'
);
4 gatway jdbc 查看hive 数据
1 环境准备 将{HIVE_HOME}/ hive-exec-3.1.0.3.1.4.0-315.jar /hive-exec.jar /libfb303-0.9.3.jar 三个jar 移动到{flink_home}/lib 中
2 上传hive conf目录 配置文件到hdfs 中
[图片]文章来源地址https://www.toymoban.com/news/detail-793248.html
3 创建hive catalogs
CREATE CATALOG hive_catalog WITH (
'type' = 'hive',
'default-database' = 'default',
'hive-conf-dir' = 'hdfs:///tmp/hiveconfig'
);
4 切换 catalogs
use catalog hive_catalog;
5 查看并查询hive 数据
文章来源:https://www.toymoban.com/news/detail-793248.html
[图片]
到了这里,关于flink 1.18 sql gateway /sql gateway jdbc的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!