问题描述：
目前遇到的问题是这样的，爬虫程序部署到K8S服务器上运行，但是会过几个小时之后，程序就会被主动杀掉重启，原因是因为内存过载，超过K8S设置的4G。
程序运行现象分析：
在线下进行程序测试时，未让程序长时间运行（及4-5个小时），程序无异常则直接上测试环境测试，然后部署上线了运行了。
通过线下观察，确实程序使用内存会因为时间而不断增加
增长的速度虽然不是很快，但却是在稳定增加，说明程序中存在内存使用未被释放。
尝试解决：
根据上网提供的方案，
import gc
gc.collect()
无效，该增加还是在增加，说明不是全局的内存使用未被释放，内存回收正常。
通过断点调试，发现，程序在使用代理的时候，内存才会增加
程序每次运行时会去获取一个代理赋值到session的proxies中，程序使用的是多线程，则单位时间内会有大量的代理信息会赋值到session中。
通过注释掉获取代理的这一步，发现确实内存不在继续增加。
原因分析：
Session对象存储特定用户会话所需的属性及配置信息，，存储在Session对象中的变量将不会丢失，而是在整个用户会话中一直存在下去。所以随着时间的推移，session中记录的proxies信息就会越来越多，最终导致内存使用过大，程序被杀。文章来源：https://www.toymoban.com/news/detail-401612.html
解决方法：
不使用session进行请求，使用原生requests.get即可。
文章来源地址https://www.toymoban.com/news/detail-401612.html
到了这里，关于python项目运行，导致内存越来越大的原因分析的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
