1. Toy模板网首页
  2. > Toy博客

【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节

10月前 作者：roman_日积跬步-终至千里 分类：Toy博客 阅读(53) 违法举报

这篇具有很好参考价值的文章主要介绍了【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

The Spark SQL CLI is a convenient interactive command tool to run the Hive metastore service and execute SQL queries input from the command line. Note that the Spark SQL CLI cannot talk to the Thrift JDBC server.

spark SQL Cli 用于运行hive metastore服务和通过命令行执行sql查询。注意，Spark SQL CLI不能和Thrift JDBC server进行通讯。

 

一. Spark SQL Command Line Options(命令行参数)

执行./bin/spark-sql --help 获取所有的执行参数

CLI options:
 -d,--define <key=value>          用于HIVE命令的变量替换 比如 -d A=B 或者 --define A=B
    --database <databasename>     指定使用哪个数据库
    
 -e <quoted-query-string>         执行sql语句，可以以;号分割的多个sql，比如：spark-sql -e  "show databases; select 1,'a'"   
 
 -f <filename>                    执行sql文件，文件中可以存在以;号分割的多个sql，比如：spark-sql -f spark-test.sql 
 
 -H,--help                        Print help information
    --hiveconf <property=value>   Use value for given property
    --hivevar <key=value>         Variable substitution to apply to Hive commands. e.g. --hivevar A=B
    
 -i <filename>                    Initialization SQL file：初始化sql文件
 -S,--silent                      Silent mode in interactive shell
 -v,--verbose                     Verbose mode (echo executed SQL to the console)

 

二. The hiverc File

1. without the -i

When invoked without the -i, the Spark SQL CLI will attempt to load $HIVE_HOME/bin/.hiverc and $HOME/.hiverc as initialization files.

在没有使用 -i 选项的情况下调用 Spark SQL CLI 时，它将尝试加载 $HIVE_HOME/bin/.hiverc 和 $HOME/.hiverc 作为初始化文件。

这里介绍下.hiverc

2. .hiverc 介绍

在Apache Hive中，.hiverc 文件是一个用于配置Hive客户端的启动脚本。它允许你在启动Hive命令行客户端（hive）时执行一些自定义操作，如设置环境变量、加载自定义函数、定义别名等。

.hiverc 文件通常位于Hive的安装目录下的 bin 子目录。它是一个可执行的脚本文件，当你启动Hive客户端时，会自动执行其中的命令。

以下是一些你可以在 .hiverc 文件中执行的操作：

  1. 设置环境变量：你可以在 .hiverc 文件中设置环境变量，以便在Hive会话期间使用。例如，你可以设置 HADOOP_HOME 或其他环境变量。
  2. 加载自定义函数：如果你有自定义的Hive函数，你可以在 .hiverc 文件中使用 ADD JAR 命令加载这些函数。
  3. 定义别名：你可以定义Hive命令的别名，以简化常用命令的输入。例如，你可以定义一个别名来运行一组复杂的查询。
  4. 其他初始化操作：你还可以执行其他自定义的初始化操作，以适应特定的需求和工作流程。

如下示例：

#!/bin/bash

# 设置环境变量
export HADOOP_HOME=/path/to/hadoop
export HIVE_HOME=/path/to/hive

# 加载自定义函数
ADD JAR /path/to/custom_functions.jar;

# 定义别名
CREATE ALIAS myquery AS 'SELECT * FROM mytable WHERE condition';

注意，.hiverc 文件中的命令将在每次启动Hive客户端时执行，因此你可以将其中的常用操作自动化，以提高工作效率。
 

三. 支持的路径协议

Spark SQL CLI supports running SQL from initialization script file(-i) or normal SQL file(-f), If path url don’t have a scheme component, the path will be handled as local file. For example: /path/to/spark-sql-cli.sql equals to file:///path/to/spark-sql-cli.sql.
User also can use Hadoop supported filesystems such as s3://[mys3bucket]/path/to/spark-sql-cli.sql or hdfs://[namenode]:[port]/path/to/spark-sql-cli.sql.

Spark SQL CLI 支持通过

  • （-i）初始化脚本
  • （-f）普通SQL文件

两种方式执行sql，如果路径没有协议，则被处理为本地文件。

用户也可以使用hadoop支持的s3和hdfs协议的路径，比如说：s3://<mys3bucket>/path/to/spark-sql-cli.sql、 hdfs://<namenode>:<port>/path/to/spark-sql-cli.sql.

 

四. 支持的注释类型

【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节,spark,spark,sql,大数据
 

五. Spark SQL CLI交互式命令

当spark-sql没有使用-e 或 -f （sql字符和sql文件）时，命令将进入交互模式，使用;号终止命令。
注意：

  1. 该CLI仅在分号 ; 出现在行尾且没有被反斜杠 \; 转义时，才将其用于终止命令。
  2. 分号 ; 是唯一用于终止命令的方式。如果用户输入 SELECT 1 并按回车键，控制台将等待进一步输入。
  3. 如果用户在同一行中输入多个命令，例如 SELECT 1; SELECT 2;，则命令 SELECT 1 和 SELECT 2 将分别被执行。
  4. 如果分号 ; 出现在SQL语句中（而不是行尾），则它没有特殊含义：继续解释 SQL 语句的执行

再看一个例子：

/* This is a comment contains ;
*/ SELECT 1;

如果分号 ; 出现在行尾，它将终止SQL语句。上面的例子将被切分为：/* This is a comment contains 和*/ SELECT 1 两个sql执行，此时执行就会报错。

 

相关交互命令
【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节,spark,spark,sql,大数据

 

六. Examples

1. running a query from the command line

./bin/spark-sql -e 'SELECT COL FROM TBL'

2. setting Hive configuration variables

./bin/spark-sql -e 'SELECT COL FROM TBL' --hiveconf hive.exec.scratchdir=/home/my/hive_scratch

3. setting Hive configuration variables and using it in the SQL query

./bin/spark-sql -e 'SELECT ${hiveconf:aaa}' --hiveconf aaa=bbb --hiveconf hive.exec.scratchdir=/home/my/hive_scratch
spark-sql> SELECT ${aaa};
bbb

4. setting Hive variables substitution

./bin/spark-sql --hivevar aaa=bbb --define ccc=ddd
spark-sql> SELECT ${aaa}, ${ccc};
bbb ddd

5. dumping data out from a query into a file using silent mode

./bin/spark-sql -S -e 'SELECT COL FROM TBL' > result.txt

6. running a script non-interactively:

[user_excute@poc11v ~/clients]$ spark-sql -f spark-test.sql


Java HotSpot(TM) 64-Bit Server VM warning: Using the ParNew young collector with the Serial old collector is deprecated and will likely be removed in a future release
Warning: Master yarn-client is deprecated since 2.0. Please use master "yarn" with specified deploy mode instead.
23/10/26 15:02:23 WARN SparkConf: The configuration key 'spark.scheduler.executorTaskBlacklistTime' has been deprecated as of Spark 2.1.0 and may be removed in the future. Please use the new blacklisting options, spark.blacklist.*
23/10/26 15:02:23 WARN SparkConf: The configuration key 'spark.akka.frameSize' has been deprecated as of Spark 1.6 and may be removed in the future. Please use the new key 'spark.rpc.message.maxSize' instead.
23/10/26 15:02:24 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
23/10/26 15:02:30 INFO Client: Requesting a new application from cluster with 1 NodeManagers
23/10/26 15:02:30 INFO Client: Verifying our application has not requested more than the maximum memory capability of the cluster (8192 MB per container)
23/10/26 15:02:30 INFO Client: Will allocate AM container, with 2432 MB memory including 384 MB overhead
23/10/26 15:02:30 INFO Client: Setting up container launch context for our AM
23/10/26 15:02:30 INFO Client: Setting up the launch environment for our AM container
23/10/26 15:02:30 INFO Client: Preparing resources for our AM container
23/10/26 15:02:31 WARN Client: Neither spark.yarn.jars nor spark.yarn.archive is set, falling back to uploading libraries under SPARK_HOME.
23/10/26 15:02:35 INFO Client: Uploading resource file:/tmp/spark-abdc8f1b-5f01-42c5-820e-9213f4895e69/__spark_libs__927845140246214662.zip -> hdfs://xmanhdfs3/home/user_excute/spark/cache/.sparkStaging/application_1698291202798_0002/__spark_libs__927845140246214662.zip
23/10/26 15:02:38 INFO Client: Uploading resource file:/tmp/spark-abdc8f1b-5f01-42c5-820e-9213f4895e69/__spark_conf__3928501941049491781.zip -> hdfs://xmanhdfs3/home/user_excute/spark/cache/.sparkStaging/application_1698291202798_0002/__spark_conf__.zip
23/10/26 15:02:40 INFO Client: Submitting application application_1698291202798_0002 to ResourceManager
23/10/26 15:02:41 INFO Client: Application report for application_1698291202798_0002 (state: ACCEPTED)
23/10/26 15:02:41 INFO Client:
         client token: N/A
         diagnostics: AM container is launched, waiting for AM container to Register with RM
         ApplicationMaster host: N/A
         ApplicationMaster RPC port: -1
         queue: root.user_excute
         start time: 1698303760575
         final status: UNDEFINED
         tracking URL: http://xxx:8888/proxy/application_1698291202798_0002/
         user: user_excute
23/10/26 15:02:42 INFO Client: Application report for application_1698291202798_0002 (state: ACCEPTED)
23/10/26 15:02:43 INFO Client: Application report for application_1698291202798_0002 (state: ACCEPTED)
23/10/26 15:02:44 INFO Client: Application report for application_1698291202798_0002 (state: ACCEPTED)
23/10/26 15:02:45 INFO Client: Application report for application_1698291202798_0002 (state: ACCEPTED)
23/10/26 15:02:46 INFO Client: Application report for application_1698291202798_0002 (state: RUNNING)
23/10/26 15:02:46 INFO Client:
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: xxx.xxx.xxx.xxx
         ApplicationMaster RPC port: -1
         queue: root.user_excute
         start time: 1698303760575
         final status: UNDEFINED
         tracking URL: http://xxx:8888/proxy/application_1698291202798_0002/
         user: user_excute
default
Time taken: 1.274 seconds, Fetched 1 row(s)
1
Time taken: 9.996 seconds, Fetched 1 row(s)

7. running an initialization script before entering interactive mode

./bin/spark-sql -i /path/to/spark-sql-init.sql

8. entering interactive mode

./bin/spark-sql
spark-sql> SELECT 1;
1
spark-sql> -- This is a simple comment.
spark-sql> SELECT 1;
1

9. entering interactive mode with escape ; in comment:

./bin/spark-sql
spark-sql>/* This is a comment contains \\;
         > It won't be terminated by \\; */
         > SELECT 1;
1

 

七. 非交互模式用法小结

命令语法：

spark-sql -f file_path

  • -f：指定文件参数
  • file_path:支持本地路径，也支持hdfs路径，例如：hdfs://[namenode]:[port]/path/to/spark-sql-cli.sql.

sql文件内容的书写格式：

  1. 各个sql以;号分割；
  2. 注释的语法：见上

 
 

参考：
https://spark.apache.org/docs/latest/sql-distributed-sql-engine-spark-sql-cli.html文章来源地址https://www.toymoban.com/news/detail-715113.html

到了这里，关于【spark客户端】Spark SQL CLI详解：怎么执行sql文件、注释怎么写，支持的文件路径协议、交互式模式使用细节的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • Msquic客户端详解

    Msquic客户端详解

    Msquic用起来还是很方便很直观的 因为微软喜欢玩句柄 所以很多对象都由如下形式提供 Tips:关于微软为啥喜欢句柄请自行百度  我们来看看github官网 微软给出的对象有哪些 下图来自Msquic github  下面这段解释来自微软github msquic/API.md at main · microsoft/msquic · GitHub 这里一起贴出

    2024年02月06日
    浏览(31)

  • 怎么绕过天翼客户端直接拨号上网的详细图文教程

    第一步：你需要用校园天翼宽带拨号登陆一次电信网，登陆过后就会出来这个 第二步： 断开网络，并退出校园宽带软件。 打开网络和共享中心---更改适配器设置---右键Vnet_PPPoE---属性 如图，在选项页---拨号选项 把前两个点上， 重播选项 重播次数3 重播间隔 1分钟 断线重播也

    2024年02月06日
    浏览(46)
  • kafka客户端应用参数详解

    kafka客户端应用参数详解

    Kafka提供了非常简单的客户端API。只需要引入一个Maven依赖即可： 1、消息发送者主流程  然后可以使用Kafka提供的Producer类，快速发送消息。 ​ 整体来说，构建Producer分为三个步骤： 设置Producer核心属性  ：Producer可选的属性都可以由ProducerConfig类管理。比如ProducerConfig.BOOTST

    2024年02月07日
    浏览(54)

  • Linux系统中怎么安装NSQ的Go语言客户端

    一、安装Go语言环境 在安装NSQ前，需先安装Go语言环境。在Linux系统中安装Go语言环境的步骤如下： 1.下载安装包 官方网站https://golang.org/dl/提供了各种操作系统的安装包，下载对应Linux系统的安装包。 2.解压安装包 将下载的安装包解压至Linux系统的指定目录，例如：解压至/u

    2024年02月16日
    浏览(53)
  • MySQL基础篇——MySQL数据库客户端连接，数据模型，SQL知识

    MySQL基础篇——MySQL数据库客户端连接，数据模型，SQL知识

    作者简介：一名云计算网络运维人员、每天分享网络与运维的技术与干货。   座右铭：低头赶路，敬事如仪 个人主页：网络豆的主页​​​​​​ 目录 前言 一.客户端连接MySQL 二. 数据模型 1.关系型数据库（RDBMS） 2.数据模型 三.SQL 1.SQL通用语法 2.SQL分类 3.数据库操作 1). 查

    2024年02月06日
    浏览(77)
  • Web版和客户端哪种SQL工具更好？ChatGPT有话要说

    Web版和客户端哪种SQL工具更好？ChatGPT有话要说

    2023年年初公司发布了一款Web版SQL工具，短期内就赢得了众多用户的喜爱和下载。不过，也有SQL用户在评论区中提出自己的观点，认为Web版工具都不可靠，甚至看见Web版工具就劝返… … 工具Web化逐渐成为一种趋势，比如，很多办公人员在使用在线文档来代替传统Office软件，设

    2024年02月02日
    浏览(62)
  • 服务器端使用django websocket,客户端使用uniapp 请问服务端和客户端群组互发消息的代码怎么写的参考笔记

    服务器端使用django websocket,客户端使用uniapp 请问服务端和客户端群组互发消息的代码怎么写的参考笔记

    2023/8/29 19:21:11 服务器端使用django websocket,客户端使用uniapp 请问服务端和客户端群组互发消息的代码怎么写 2023/8/29 19:22:25 在服务器端使用Django WebSocket和客户端使用Uniapp的情况下，以下是代码示例来实现服务器端和客户端之间的群组互发消息。 服务器端代码 （使用Django Chann

    2024年02月11日
    浏览(46)
  • Git客户端Sourcetree工具安装使用详解&命令

    Git客户端Sourcetree工具安装使用详解&命令

    目录 一、Git工作流程 二、Git安装 三、Sourcetree工具安装 四、Sourcetree配置 五、Sourcetree配置SSH 六、GIT常用命令 1、获取安装程序 a、官网地址：https://git-scm.com/downloads b、网盘地址：百度网盘 请输入提取码    xc5d 2、双击按照默认配置安装即可，安装目录：D:softwareGit、安装完

    2024年02月07日
    浏览(64)

  • 【HDFS】ResponseProcessor线程详解以及客户端backoff反压

    ResponseProcessor如何处理datanode侧发过来的packet ack的 客户端侧backoff逻辑。 ResponseProcessor：主要功能是处理来自datanode的响应。当一个packet的响应到达时，会把这个packet从ackQueue里移除。

    2024年02月11日
    浏览(74)
  • 30、Flink SQL之SQL 客户端（通过kafka和filesystem的例子介绍了配置文件使用-表、视图等）

    30、Flink SQL之SQL 客户端（通过kafka和filesystem的例子介绍了配置文件使用-表、视图等）

    一、Flink 专栏 Flink 专栏系统介绍某一知识点，并辅以具体的示例进行说明。 1、Flink 部署系列 本部分介绍Flink的部署、配置相关基础内容。 2、Flink基础系列 本部分介绍Flink 的基础部分，比如术语、架构、编程模型、编程指南、基本的datastream api用法、四大基石等内容。 3、

    2024年02月14日
    浏览(64)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包