爬虫实例(二)—— 爬取高清4K图片

这篇具有很好参考价值的文章主要介绍了爬虫实例(二)—— 爬取高清4K图片。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大家好,我是 Enovo飞鱼,今天继续分享一个爬虫案例,爬取高清4K图片,加油💪。

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言

 文章来源地址https://www.toymoban.com/news/detail-831872.html

 

目录

前言

增加异常处理

增加代码灵活性

基本环境配置

爬取目标网站

分析网站页面

具体代码实现

图片下载示例

感谢支持🙇‍+👍

 


 

前言

上篇内容,我们已经了解并惊叹于5行Python代码的强大,今天我们会继续挖掘,并且在原有的基础上进行不断地完善

我们将考虑到多方面的内容,例如,增加异常处理,增加代码灵活性,加快爬取速度……

 

  • 增加异常处理

由于爬取上百页的网页,中途很可能由于各种问题导致爬取失败,所以增加了 try except 、if else 等语句,来处理可能出现的异常,让代码更健壮。

 

  • 增加代码灵活性

初版代码由于固定了 URL 参数,所以只能爬取固定的内容,但是人的想法是多变的,一会儿想爬这个一会儿可能又需要那个,所以可以通过修改 URL 请求参数,来增加代码灵活性,从而爬取更灵活的数据。


基本环境配置

 

  • 版本:Python3

  • 系统:Windows

  • 相关模块:requests,lxml

  • 开发工具:Pycharm

在这里我使用的是 anaconda ,众所周知这是一个软件,但是它的环境是比较全面的,在之前的学习中,我们用的是这个软件。

 

anconda,可以理解成运输车,每当下载anconda的时候,里面不仅包含了python,还有180多个库(武器)一同被打包下载下来

下载完anconda之后,再也不用一个个下载那些库了。

 


爬取目标网站

 

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言

 

 


分析网站页面

 

有一说一是真的多,看这惊人的页数 

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言

 


接下来就该看看怎么拿到表情包图片的 url 了,首先打开谷歌浏览器,然后点 F12 进入爬虫快乐模式

然后完成下图的操作,先点击1号箭头,然后再选中一个表情包即可,红色框中就是我们要爬取的对象,其中表情包的src就在里面

 如下图:


python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言
现在我们就搞清楚了怎么拿到表情包的url了,下一步我们复制 Xpath ,

不了解Xpath的小伙伴们可以去学习一下,也是非常好用的在 XML 文档中查找信息的语言。

如下图, 

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言

至此,我们可以写代码了!!!


 

具体代码实现

 相关代码:

import requests
from lxml import etree

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:94.0) Gecko/20100101 Firefox/94.0'
}
x = input('输入页数: ')
for page in range(1, int(x)):
    if page == 1:
        url = 'https://pic.netbian.com/4kyingshi/'
    else:
        url = 'https://pic.netbian.com/4kyingshi/index_' + str(page) + '.html'
    response = requests.get(url=url, headers=headers)
    response.encoding = 'gbk'  # 或者gb2312
    page_text = response.text
    tree = etree.HTML(page_text)
    # 以下三种均可
    # li_list = tree.xpath('//div[@id="main"]/div[3]/ul/li[1]/a/img')
    #li_list = tree.xpath('//div[@class="slist"]/ul/li')
    li_list = tree.xpath('//div[@id="main"]/div[@class="slist"]/ul/li')
    for li in li_list:
        img_src = 'https://pic.netbian.com/' + li.xpath('./a/img/@src')[0]
        img_name = li.xpath('./a/b/text()')[0] + '.jpg'
        img = requests.get(url=img_src, headers=headers).content
        with open('./wwww/' + img_name, 'wb') as fp:
            fp.write(img)
            print(img_name + '保存')

# //*[@id="main"]/div[3]/ul/li[1]/a
# copy xpath

到现在为止,已经拿到了所有的图片的链接和名字,那么就可以开始下载了

运行代码,输入你需要下载的页数即可🐒

 


图片下载示例

总共是爬了两页图片,做个示例

见下图 

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言

 

python爬虫下载图片原始高清,爬虫,爬虫,python,开发语言


感谢支持🙇‍+👍

 

 

到了这里,关于爬虫实例(二)—— 爬取高清4K图片的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python-爬虫-xpath方法-批量爬取王者皮肤图片

    球员:乔尔-恩比德 - - - 球队:76人 球员:卢卡-东契奇 - - - 球队:独行侠 球员:达米安-利拉德 - - - 球队:开拓者 爬取一张图片 该角色有7个皮肤 爬取7个图片 获取这7个皮肤的名字 保存图片 获取所有英雄皮肤 把该行网址复制到网址栏,会自动下载该文件 https://pvp.qq.com/web20160

    2024年02月09日
    浏览(52)
  • Python爬虫实战-批量爬取下载网易云音乐

    大家好,我是python222小锋老师。前段时间卷了一套  Python3零基础7天入门实战 https://blog.csdn.net/caoli201314/article/details/132882813 1小时掌握Python操作Mysql数据库之pymysql模块技术 https://blog.csdn.net/caoli201314/article/details/133199207 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、se

    2024年02月05日
    浏览(82)
  • [爬虫篇]Python爬虫之爬取网页音频_爬虫怎么下载已经找到的声频

    audio_DATA_get = requests.get(url=audio_DATA,headers=headers) audio_DATA_get_text = audio_DATA_get.text audio_DATA_download_url = re.findall(‘“src”:“(.*?)”’,audio_DATA_get_text) print(audio_DATA_download_url) download_data_url = audio_DATA_download_url[0] try: open_download_data_url = urllib.request.urlopen(download_data_url) except: print(downlo

    2024年04月22日
    浏览(62)
  • python爬取豆瓣电影排行前250获取电影名称和网络链接[静态网页]————爬虫实例(1)

    目录 1.算法原理: 2.程序流程: 3.程序代码: 4.运行结果(部分结果展示): 5.结果分析: (1)利用import命令导入模块或者导入模块中的对象; ①利用requests库获取数据; ②用BeautifulSoup库将网页源代码转换成BeautifulSoup类型,以便于数据的解析和处理; ③用time库进行时间延时

    2023年04月16日
    浏览(60)
  • 【Python爬虫开发实战①】使用urllib以及XPath爬取可爱小猫图片

    个人主页 :为梦而生~ 关注我一起学习吧! 专栏 :python网络爬虫从基础到实战 欢迎订阅!后面的内容会越来越有意思~ 往期推荐 : 【Python爬虫开发基础⑦】urllib库的基本使用 【Python爬虫开发基础⑧】XPath库及其基本用法 我们在之前已经有8篇文章讲述基础知识了,下面我们

    2024年02月11日
    浏览(66)
  • Python爬虫:实现爬取、下载网站数据的几种方法

    使用脚本进行下载的需求很常见,可以是常规文件、web页面、Amazon S3和其他资源。Python 提供了很多模块从 web 下载文件。下面介绍 requests 模块是模仿网页请求的形式从一个URL下载文件 示例代码: 安装 wget 库 示例代码 有些 URL 会被重定向到另一个 URL,后者是真正的下载链接

    2024年02月05日
    浏览(69)
  • Python爬虫之Scrapy框架系列(21)——重写媒体管道类实现保存图片名字自定义及多页爬取

    spider文件中要拿到图片列表并yield item; item里需要定义特殊的字段名:image_urls=scrapy.Field(); settings里设置IMAGES_STORE存储路径,如果路径不存在,系统会帮助我们创建; 使用默认管道则在s

    2024年02月10日
    浏览(72)
  • Python爬虫系列(二)——Python爬虫批量下载百度图片

    1. 前言 先贴代码 如果要使用上述程序的话,需要修改两个地方 : self.directory 这是本地存储地址,修改为自己电脑的地址,另外,**{}**不要删 spider.json_count = 10 这是下载的图像组数,一组有30张图像,10组就是三百张,根据需求下载 也可以去gitee仓库直接下载程序。 关于 py

    2023年04月08日
    浏览(53)
  • Python 爬虫网页图片下载到本地

    您可以使用Python的requests库来获取网页的源码,使用BeautifulSoup库来解析HTML,并使用urllib库来下载图片到本地。下面是一个示例代码: 请注意,上述代码中的URL和文件名是示例,您需要根据实际情况进行替换。另外,这段代码只能下载图片类型为JPEG的文件,如果想要下载其他

    2024年02月11日
    浏览(52)
  • 4K高清修复,模糊视频4k修复是怎么实现的?

    在当今数字时代,高分辨率视频已成为大众观影的标配。4K分辨率作为其中高端的选项,提供了比传统1080p高出四倍的细节和清晰度,使得观众们能够更加身临其境地享受影视作品。然而,有时候我们可能会遇到4K视频质量不佳的问题,这时候就需要一款优秀的4K视频修复软件

    2024年02月04日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包