利用爬虫爬取图片并保存

这篇具有很好参考价值的文章主要介绍了利用爬虫爬取图片并保存。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 问题

在工作中,有时会遇到需要相当多的图片资源,可是如何才能在短时间内获得大量的图片资源呢?

2 方法

我们知道,网页中每一张图片都是一个连接,所以我们提出利用爬虫爬取网页图片并下载保存下来。

首先通过网络搜索找到需要的图片集,将其中图片链接复制然后编入爬虫代码,随后利用open()、iter_content()、write()等函数将图片下载并保存下来,同时还要确定图片保存的路径以便于查找图片。

  1. 找到需要的图片的网页链接;
  2. 利用爬虫根据网页爬取图片;
  3. 将图片下载并保存;

通过实验、实践等证明提出的方法是有效的,是能够解决开头提出的问题。

代码清单 1

import requests
def get_pictures(web,path):
headers={'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'}
re=requests.get(web,headers=headers)
print(re.status_code)
with open(path, 'wb') as f:
for chunk in re.iter_content(chunk_size=128):
f.write(chunk)
web='https://static.nowcoder.com/fe/file/oss/1655700469353QRQEI.jpg'
path='数据分析.jpg'
get_pictures(web,path)

3 结语

针对如何短时间内获取大量图片的问题,提出使用爬虫、open()函数、iter_content()函数、write()函数等方法将图片下载并保存,通过实验,证明该方法是有效的。其中对于正则表达式的书写方法还不够熟练,对于函数open()、iter_content()、write()的使用还存在很多未知,由于知识和技术上存在问题以上代码只能获取一张图片,我们相信通过不断地学习与练习,我们能进一步优化方法,最终达成目的。文章来源地址https://www.toymoban.com/news/detail-647847.html

到了这里,关于利用爬虫爬取图片并保存的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python爬虫-爬取文档内容,如何去掉文档中的表格,并保存正文内容

    前言 本文是该专栏的第58篇,后面会持续分享python爬虫干货知识,记得关注。 做过爬虫项目的同学,可能或多或少爬取过文档数据,比如说“政务网站,新闻网站,小说网站”等平台的文档数据。爬取文档数据,笔者这里就不过多详述,而本文, 笔者将主要介绍在爬取文档

    2024年02月08日
    浏览(52)
  • python爬虫 爬取网页图片

    目录 一:爬虫基础 二:安装html解析的python工具 三:爬取网页图片 爬虫基本过程: 1.请求标头 headers 2.创建一个会话 requests.Session 3.确定请求的路径 4.根据路径获取网页资源(HTML文件) 5.解析html文件BeautifulSoup div a 标签 获取对应的图片 6.建立网络连接进行下载  创建出下载的图

    2024年02月02日
    浏览(57)
  • 网络爬虫丨基于scrapy+mysql爬取博客信息并保存到数据库中

    本期内容 :基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 anaconda丨pycharm python3.11.4 scrapy mysql 项目下载地址:https://download.csdn.net/download/m0_68111267/88740730 本次实验实现了:使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中,实验主要涉及到Python的爬虫技术以

    2024年01月17日
    浏览(44)
  • 爬虫实例(二)—— 爬取高清4K图片

    大家好,我是 Enovo飞鱼,今天继续分享一个爬虫案例,爬取高清4K图片,加油💪。     目录 前言 增加异常处理 增加代码灵活性 基本环境配置 爬取目标网站 分析网站页面 具体代码实现 图片下载示例 感谢支持🙇‍+👍     上篇内容,我们已经了解并惊叹于5行Python代码的强

    2024年02月21日
    浏览(117)
  • Python爬虫入门之2022软科中国大学排名爬取保存到csv文件

    1、获得“2022软科中国大学排名”数据,从【软科排名】2022年最新软科中国大学排名|中国最好大学排名网页中获得排名数据信息,并将数据保存到csv文件中。 2、调用两个CSV文件,将他们合成一个文件,并按排名先后对其进行排序 3、将合并文件储存为txt文件和json文件 我们采

    2024年02月07日
    浏览(51)
  • Java爬虫爬取图片壁纸

    以 sougou 图片为例: https://pic.sogou.com/ JDK17、SpringBoot3.2.X、hutool5.8.24实现Java爬虫,爬取页面图片 开发工具: IDEA2023.2.5 JDK: Java17 SpringBoot: 3.2.x 通过 SpringBoot 快速构建开发环境,通过 Jsoup 实现对网页的解析,并获取想要的资源数据 使用 hutool 工具,将所需要的字符串转成 J

    2024年01月17日
    浏览(43)
  • 爬虫项目实战:利用基于selenium框架的爬虫模板爬取豆瓣电影Top250

    👋 Hi, I’m @货又星 👀 I’m interested in … 🌱 I’m currently learning … 💞 I’m looking to collaborate on … 📫 How to reach me … README 目录(持续更新中) 各种错误处理、爬虫实战及模板、百度智能云人脸识别、计算机视觉深度学习CNN图像识别与分类、PaddlePaddle自然语言处理知识图谱、

    2024年02月04日
    浏览(44)
  • 【爬虫学习】1、利用get方法对豆瓣电影数据进行爬取

    ♥️作者:白日参商 🤵‍♂️个人主页:白日参商主页 ♥️坚持分析平时学习到的项目以及学习到的软件开发知识,和大家一起努力呀!!! 🎈🎈加油! 加油! 加油! 加油 🎈欢迎评论 💬点赞👍🏻 收藏 📂加关注+! 1、导入python库 2、获取豆瓣电影的第一页的数据 并

    2024年02月12日
    浏览(45)
  • Python爬取读书网的图片链接和书名并保存在数据库中

    一个比较基础且常见的爬虫,写下来用于记录和巩固相关知识。 本项目采用 scrapy 框架进行爬取,需要提前安装 由于需要保存数据到数据库,因此需要下载 pymysql 进行数据库相关的操作 同时在数据库中创立对应的表 在终端进入准备存放项目的文件夹中 1、创建项目 创建成功

    2024年02月06日
    浏览(39)
  • python-爬虫-xpath方法-批量爬取王者皮肤图片

    球员:乔尔-恩比德 - - - 球队:76人 球员:卢卡-东契奇 - - - 球队:独行侠 球员:达米安-利拉德 - - - 球队:开拓者 爬取一张图片 该角色有7个皮肤 爬取7个图片 获取这7个皮肤的名字 保存图片 获取所有英雄皮肤 把该行网址复制到网址栏,会自动下载该文件 https://pvp.qq.com/web20160

    2024年02月09日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包