前言
实习生带着一脸坚毅的神情,斩钉截铁的告诉我:
Spark有bug,用Sparksql创建一个简单的外部表都报错:
create external table must be accompanied by location
我:你怎么创建的?
实习生:就下面一个简单的sql语句啊
spark.sql("""
CREATE EXTERNAL TABLE if not exists tb(
id int,
name string
) PARTITIONED BY (dt string)
STORED AS PARQUET
""")
我:你需要对Spark和Hive的基础知识进行巩固。
内部表和外部表的区别
它两主要区别在于LOAD和DROP这两个命令语义上:
-
内表使用load命令会把数据移到自己仓库目录下
-
外表使用load命令会把数据移到自己仓库以外的位置
-
内表使用drop命令会把元数据和数据一起删除(这也就是为什么内表也叫托管表)
-
外表使用load命令只会删除元数据文章来源:https://www.toymoban.com/news/detail-559743.html
内部表和外部表的使用场景
内部表和外部表的差别其实真的很小很小。尽管如此,好的软件设计的一般原则的表达意图文章来源地址https://www.toymoban.com/news/detail-559743.html
到了这里,关于Spark创建Hive表的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!