Python爬虫:抓取表情包的下载链接-Toy模板网

这篇具有很好参考价值的文章主要介绍了Python爬虫:抓取表情包的下载链接。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1. 前言

最近发现了一个提供表情包的网址，觉得上面的内容不错，于是就考虑用Python爬虫获取上面表情包的下载链接。整体而言，实现这个挺简单的，就是找到提供表情包json数据的api接口即可，接口中没有任何加密操作。网址为：表情包

2. 具体实现

还是通过搜索功能，找到匹配搜索词的相关表情包，如下：

可以发现，当向下滑动滚动条时，表情包数据进行动态刷新增加，由此可以判定这个界面的表情包数据是通过请求api接口，然后一些js操作实现的。直接使用requests模块访问当前界面，你是无法访问到这个表情包数据的。实现上的确是这样，打开开发者工具，来到网络下的Fetch/XHR，可以找到一个api接口链接，打开这个接口，那里面有我们想要的表情包数据。
Python爬虫:抓取表情包的下载链接,Python,爬虫,python,爬虫,java
这个接口链接为：https://www.dbbqb.com/api/search/json?start=0&w=%E9%BE%99%E7%8E%8B，明显这个w后的参数值应该就是我们搜索的词进行的编码操作。

至于start后的参数值，应该用于分页的操作，通过向下滑动滚动条，发现这个参数值初始为0，第二页为100，第三页为200，。。。。。。
至于这个接口中的数据，的确是图片的下载链接，如下：
Python爬虫:抓取表情包的下载链接,Python,爬虫,python,爬虫,java

3. 实现代码

实现代码仅仅把这些表情包的下载链接获取到，至于怎样下载，读者自行操作。可以考虑使用

from urllib import request


url = 'https://image.dbbqb.com/202308120759/a94be64f09fb4528ed75039698d47321/NEN22'
request.urlretrieve(url=url,filename='龙王.png')

或者

import requests


url = 'https://image.dbbqb.com/202308120759/a94be64f09fb4528ed75039698d47321/NEN22'
rsp = requests.get(url=url)
with open(file='龙王2.png',mode='wb') as f:
    f.write(rsp.content)

参考代码如下：

import requests
import json
from urllib import parse
from crawlers.userAgent import useragent

keyword = input('搜索关键词:')
pages = input('页数:')
u = useragent()
# pages
url2 = 'https://image.dbbqb.com/'
encode_kw = parse.quote(keyword)
print(encode_kw)
for i in range(int(pages)):
    url = f'https://www.dbbqb.com/api/search/json?start={i*100}&w={encode_kw}'
    print(f'第{i + 1}页->url:{url}')
    headers = {
        'user-agent':u.getUserAgent(),
        "Accept":"application/json",
        "Cache-Control":"no-cache",
        "Connection":"keep-alive",
        "Content-Type":"application/json",
        "Cookie":"Hm_lvt_7d2469592a25c577fe82de8e71a5ae60=1690285252,1690367974,1690963288,1691797900; Hm_lpvt_7d2469592a25c577fe82de8e71a5ae60=1691798363",
        "sec-ch-ua":";Not A Brand;v=99, Chromium;v=94",
        "sec-ch-ua-mobile":"?0",
        "sec-ch-ua-platform":"Windows",
        "Sec-Fetch-Dest":"empty",
        "Sec-Fetch-Mode":"cors",
        "Sec-Fetch-Site":"same-origin",
        "Web-Agent":"web",
    }
    rsp = requests.get(url=url,headers=headers)
    arr = json.loads(rsp.text)
    for e in arr:
        download_url = url2 + e['path']
        print(download_url)