今天跑spark sql任务,报了一个错误,如下:
It is possible the underlying files have been updated. You can explicitly invalidate the cache in Spark by running ‘REFRESH TABLE tableName’ command in SQL or by recreating the Dataset/DataFrame involved.
查了一些资料,出现这个错误,是因为当你更新了一个表的某些列,并且马上查询的话,就会报这种错误。如果想解决这个问题,请刷新与该表关联的所有缓存项。调用命令如下:文章来源:https://www.toymoban.com/news/detail-516670.html
REFRESH TABLE [db_name.]table_name
注意这个刷新要在插入语句之前刷新。文章来源地址https://www.toymoban.com/news/detail-516670.html
到了这里,关于Spark报错:需要 REFRESH TABLE tableName 解决的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!