beeline数据导出参数格式
- 参考语句
beeline -u jdbc:hive2://host:10000 --incremental=true --showHeader=false --outputformat=dsv --delimiterForDSV=$'\t' -e 'select * from test' > ./file.txt
- 参数说明
| 参数 | 说明 |
|---|---|
| –incremental=[true/false] | 从Hive 2.3版本往后默认是true，在它之前是默认为false。当设置为false时，为了最佳的展示列宽，完整的结果集会在展示之前被收集然后缓存起来。当设置为true时，结果集一旦被抓取到就会立即展示， 为了在展示列的填充额外消耗更少的延迟和内存。当你在客户端遭遇一个内存溢出时，推荐设置–incremental=true (因为抓取到的结果集非常大)。 |
| –showHeader=[true/false] | 展示列名是否在查询结果中。默认是true。用例: beeline --showHeader=false |
| –outputformat=[table/vertical/csv/tsv/dsv/csv2/tsv2] | 结果展示的模式。默认是table。dsv可配合delimiterForDSV一起使用，设置分隔符 |
| –delimiterForDSV= DELIMITER | 用于输出格式中划分值的界定符。默认是‘|’，如果需要输入特殊符号，如‘\n001’ ，‘\x01’等需在前面加$ ，例 --delimiterForDSV=$’\t’ |
| -e | 导出sql |
- 结果展示格式（在outputformat参数中设置）
展示形式主要是将一行值的字段按照不同分割符分开，主要包括五种分割输出格式：csv, tsv, csv2, tsv2, dsv，目前csv和tsv已经被csv2和tsv2替代了。
dsv，csv2和tsv2格式的含义分别是：
csv2使用的是逗号，
tsv2使用的是tab空格，
dsv是可配置的。对于dsv格式，分隔符可以通过用参数 delimiterForDSV 进行设置，默认是 ‘|’。
举例说明
- 方式一：未设置showHeader、outputformat和delimiterForDSV参数的值，说明使用的是Beeline默认的输出格式，从outputformat说明中得知Beeline默认的输出各式为table模式，所以接下来就需要弄清楚table模式下字段分隔符是否为“|”，并且列名是否在查询结果中。–showHeader=默认是true。
语句文章来源：https://www.toymoban.com/news/detail-469793.html
beeline -e "select * from table_test > ./test.txt"
展示结果如下
+------------+--------------+------------------+----------+-------------+----------------+--------------+
| area_code | acc_nbr | serv_id | prod_id | time_tag | model_type | rule_result |
+------------+--------------+------------------+----------+-------------+----------------+--------------+
| 777 | 18028137123 | 120000485555514 | 3102 | 2023010914 | 507 | 10001 |
+------------+--------------+------------------+----------+-------------+----------------+--------------+
- 方式二：去掉列名，–showHeader=false
语句
beeline --showHeader=false -e "select * from table_test > ./test.txt"
展示结果如下
| 777 | 18028137123 | 120000485555514 | 3102 | 2023010914 | 507 | 10001 |
- 方式三：如果值之间用逗号分割，可以在beeline执行语句中加入–outputformat=csv2；如果值之间用tab分割，可以在beeline执行语句中加入–outputformat=tsv2。如果方式的分割符不满足需求，想通过其他分割符来分割beeline的执行结果值，可以在beeline执行语句中加入–outputformat=dsv2和–delimiterForDSV=其他分割符号。
1）用逗号分割
语句
beeline --outputformat=csv2 -e "$tj_sql" > ./test_3.txt
展示结果如下
area_code,acc_nbr,serv_id,prod_id,time_tag,model_type,rule_result
777,18028137123,120000485555514,3102,2023010914,507,10001
2）用tab作为值之间的分割符
语句
beeline --outputformat=tsv2 -e "$tj_sql" > ./test_3.txt
展示结果如下
area_code acc_nbr serv_id prod_id time_tag model_type rule_result
777 18028137123 120000485555514 3102 2023010914 507 10001
3）其他分割符，将beeline的输出格式设置（–outputformat=dsv）为dsv，使用dsv默认的分割符，即‘|’。
语句
beeline --outputformat=dsv -e "$tj_sql" > ./test_3.txt
展示结果如下
area_code|acc_nbr|serv_id|prod_id|time_tag|model_type|rule_result
777|18028137123|120000485555514|3102|2023010914|507|10001
4）其他分割符，将beeline的输出格式设置为dsv（–outputformat=dsv），并以“\t”作为值之间得分割符（–delimiterForDSV=$‘\t’）。
语句
beeline --outputformat=dsv --delimiterForDSV=$'\t' -e "$tj_sql" > ./test_3.txt
展示结果如下
area_code acc_nbr serv_id prod_id time_tag model_type rule_result
777 18028137123 120000485555514 3102 2023010914 507 10001
5）其他分割符，将beeline的输出格式设置为dsv（–outputformat=dsv），并以“#”作为值之间得分割符（–delimiterForDSV=$‘#’）。
语句
beeline --outputformat=dsv --delimiterForDSV=$'#' -e "$tj_sql" > ./test_3.txt
展示结果如下文章来源地址https://www.toymoban.com/news/detail-469793.html
area_code#acc_nbr#serv_id#prod_id#time_tag#model_type#rule_result
777#18028137123#120000485555514#3102#2023010914#507#10001
到了这里，关于beeline连接hive的导出数据格式的参数及设置的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![【Hadoop】-Hive客户端：HiveServer2 & Beeline 与DataGrip & DBeaver[14]](https://imgs.yssmx.com/Uploads/2024/04/860527-1.png)
