贴吧照片和酷狗音乐简单爬取-Toy模板网

这篇具有很好参考价值的文章主要介绍了贴吧照片和酷狗音乐简单爬取。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

爬取的基本步骤

很简单，主要是两大步

向url发起请求

这里注意找准对应资源的url，如果对应资源不让程序代码访问，这里可以伪装成浏览器发起请求。

解析上一步返回的源代码，从中提取想要的资源

这里解析看具体情况，一般是筛选标签之中的信息或者资源，有很多筛选的第三方包和方法

贴吧图片下载

导入 requests 和 lxml两个第三方包，没有需要下载

找到我们需要图片资源的==url ==, 比如我这里是贴吧图片测试 http://c.tieba.baidu.com/p/5857827920

然后就是发起请求，拿到源代码，解析资源获得下载的url,下载资源到本地

import requests
from lxml import etree

# 发起请求拿到网页源代码
index_url = 'http://c.tieba.baidu.com/p/5857827920'
response = requests.get(index_url).text

# 解析源代码，筛选数据
selector = etree.HTML(response)
image_urls = selector.xpath('//img[@class="BDE_Image"]/@src')

offset = 0
# 拿到url下载对应文件
for image_url in image_urls:
    image_content = requests.get(image_url).content
    offset += 1
    # 将数据写入本地
    with open("D:/桌面/image_test/{}.jpg".format(offset), 'wb') as f:
        f.write(image_content)

酷狗音乐歌曲下载

步骤是差不多的，但是这里找 url 变化了一点，找到你想要下载的歌曲，并打开对应的播放页，如下：
按下F12或者是右键点击检查，我这里用的是谷歌浏览器，打开网页的源代码

贴吧照片和酷狗音乐简单爬取,python

选择上面的网络或者network,点击打开

贴吧照片和酷狗音乐简单爬取,python

然后刷新一下网页，发起的网络请求就可以在这个界面看到，然后筛选媒体或者media,看到后缀为MP3的文件打开，多图示例：

贴吧照片和酷狗音乐简单爬取,python

看到请求网址，复制它，到一个新页面打开试一下能不能播放，如果可以，那么我们要下载的资源的url就找到了。这个也就是代码中发起请求的那个资源url

直接上代码

import requests

# url
m_url = 'https://webfs.hw.kugou.com/202308142239/c9d5212c77dac7daf7e3a144b167e5ef/KGTX/CLTX001/d632d77fc37a7f5fee87baf23a0944cb.mp3'

# 获取源代码

headers = {'User-Agent':
                  'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36m_resp = requests.get(m_url)'
           }
 # 这个headers就是请求标头，可以区别请求来源，会指明来源的操作系统浏览器这些信息，程序代码请求的话我们可以伪装成浏览器，加上这个标头。

m_resp = requests.get(m_url, headers=headers)

# 保存数据
with open("D:/桌面/test/geini.mp3", 'wb') as f:
    f.write(m_resp.content)