背景
spark sql中join操作是最耗费性能的操作，因为这涉及到数据的shuffle操作，如果由此导致数据倾斜更是会雪上加霜，那么如何优化join操作的性能呢？
join优化
方式一 broadcast广播：
如果是大表和小表的join操作，最简单的解决方式就是对小表进行broadcast操作，把小表的数据广播到各个executor的内存中，然后和大表进行join，这种方式是join优化的首选，不过也有硬伤，因为有个前提，broadcast的表要是小表，量不能太大
方式二 distributed by操作：
如果是两个大表之间进行join操作，影响性能的主要因素是数据倾斜，我们要进行尽量保证join的两张表发送到executor的数据的数量是一样的，而这个可以通过distributed by join(条件列)进行，这样可以提前把两个表的数据按照条件列分布好，在进行join操作时就不会发生数据倾斜的问题了
注：distributed by 条件列 是把数据按照条件列进行分区，分区的数量由set spark.sql.shuffle.partitions=600; 进行控制，此外，即使不是用于join操作，遇到表数据倾斜是我们也可以使用，例如：select * from Table distribute by rand(); 这样就可以保证每个分区的数据基本一致了文章来源：https://www.toymoban.com/news/detail-832798.html
参考文献： https://blog.csdn.net/vipshop_fin_dev/article/details/95231696文章来源地址https://www.toymoban.com/news/detail-832798.html
到了这里，关于spark sql 的join调优的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
