一步一个脚印，一天一道面试题（有些难点的面试题不一定每天都能发，但每天都会写）
什么是背压 Backpressure
在流式处理框架中，如果下游的处理速度，比上游的输入数据小，就会导致程序处理慢，不稳定，甚至出现崩溃等问题。
出现背压的原因
-
上游数据突然增大
比如数据源突然数据量增大多倍，下游处理速度跟不上。就像平时的小饭店能处理的很轻松，突然到了过年人多了很多，就会需要客人排队。 -
网络，机器异常等
这个也好理解，如果 team 里突然有人生病了，会导致效率低下。 -
下游复杂度，并行度与上游算子不同
可能下游算子需要处理更久，或者并行度比上游小，处理的没有上游快，进而可能导致背压。 -
数据倾斜
数据倾斜会导致任务分配不均匀，比如任务平时均匀分给 5 个同事，结果有天数据倾斜，把 3个人的任务分配给了其中一个同事，那么他处理时间就会比其他同事长，进而影响团队进度。
背压导致的影响
背压不一定会导致程序直接崩溃，但它可能会引发一系列其他问题，最终导致系统不稳定甚至崩溃。具体来说，背压可能导致以下情况：
-
增加处理延迟： 背压会导致数据积压，增加数据处理的延迟。如果背压持续存在且得不到有效解决，处理延迟可能会不断累积，最终使系统无法及时响应或处理数据。
-
降低系统吞吐量： 由于背压限制了数据流的速率，系统的整体吞吐量可能会下降。这会导致系统无法充分利用资源，处理能力受限，影响系统的性能表现。
-
资源浪费： 背压可能导致部分计算资源空闲或被浪费，因为某些任务可能没有足够的输入数据来处理。这样就浪费了资源，降低了系统的效率。
-
系统稳定性问题： 背压如果得不到有效管理和解决，可能会导致数据积压越来越严重，最终可能引发系统的不稳定性。数据积压可能导致内存消耗过大、任务阻塞等问题，最终可能使系统崩溃或不可用。
如何发现，定位背压
背压本质是一种，不健康，亚健康状态，可能会出现超时, 失败等问题
- 在 Web 页面发现
Checkpoint超时，失败 - 在
JobManager中，会找到Checkpoint expired before completing报错日志 - 在 Web 页面的
BackPressure界面可以看到
如何解决背压亚健康问题
-
调整并行度：
背压可能是由于某些任务的并行度过高或过低导致的。通过调整任务的并行度，使其能够更好地匹配数据的产生和消费速度，从而减少背压问题的发生。 -
代码效率低：
-检查点Checkpoint频率过快
-水位线Watermark更新频率过高
-状态State更新快
-代码逻辑复杂（如复杂 SQL， JOIN 等，需要具体针对优化）
// 设置Checkpoint相关配置
env.enableCheckpointing(10 * 1000); // 设置Checkpoint间隔为10秒
env.getCheckpointConfig().setCheckpointTimeout(30 * 1000); // 设置Checkpoint超时时间为30秒
// 设置Watermark相关配置
env.getConfig().setAutoWatermarkInterval(1 * 1000); // 设置每1秒生成一个Watermark
-
监控和告警：
配置监控系统，实时监测任务的状态、指标和背压情况。当发现背压问题时，及时发送告警并采取相应的措施，例如自动调整任务的并行度或资源分配等。使用MetricGroup监控。
定位背压 中引用下面文章
https://www.51cto.com/article/686096.html 背感压力，Flink背压你了解多少？
写的非常好，也有部分我暂时没看懂的部分文章来源：https://www.toymoban.com/news/detail-831260.html
看到这里的朋友帮忙点下点赞吧~ 这对我非常有帮助，感谢~文章来源地址https://www.toymoban.com/news/detail-831260.html
到了这里，关于【大数据面试题】007 谈一谈 Flink 背压的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
![[轻科普]谈一谈最近手机上的2亿像素](https://imgs.yssmx.com/Uploads/2024/02/740020-1.png)
