以马蜂窝“普达措国家公园”为例,其评论高达3000多条,但这3000多条并非是完全向用户展示的,向用户展示的只有5页,数了一下每页15条评论,也就是75条评论,有点太少了吧!
因此想了个办法尽可能多爬取一些评论,根据我对爬虫爬取数据法律法规的相关了解,爬取看得到的数据是合法的,而在评论最开始的这个地方有对评论的分类,当然每个分类主题也是最多能看到5页内容,但是肯定会比我们被动的只爬取5页多很多内容,因此我们选择按主题分类去爬取评论。
点击上图中的全部,右键检查或者按下F12去定位“全部”
把这个元素收起来就可以看到如下图,这个<li></li>标签的列表里保存着分类名称、类型、id等,如果比较多的话可以利用selenium的XPATH自动获取之后,再套进代码里面,由于我只演示一个例子并且分类标签也不多,我就直接拿了这个列表放在代码里。
注意我们需要用到的是他的两个属性值:
data-type、data-catagory
我存放的方式:(代码标注的分类id)
data-type:a = [0,0,1,1,1,2,2,2,2,2,0]
data-catagory:b = [0,2,13,12,11,134700810,173942219,112047583,112968615,143853527,1]
注意这个顺序a[i]与b[i]是按照图中框起来的<li></li>标签一一对应的,顺序不能错。
点击Network,按下Ctrl+R刷新一下
找到Name为poiCommentListApi?为首的(如下图),点击Headers,红线画出来的内容是代码中comment_url(代码标注①的地方),根据你自己需要的进行替换。
下滑可以看到Request Headers中的‘Referer’和‘User-agent’两个参数,根据你自己所需要的进行替换(代码标注的②和③)
点击Payload,如果是下面这种情况你就点击一下左边的分类标签(任选一个),在Name列表中一直往下滑找到Name为poiCommentListApi?为首的(根据你的点击次数就会有多少个,从后往前找看看规律)
找到最后一个Name为poiCommentListApi?为首的,点击Payload,看一下这个params参数
所以对于同一个景点来说,变化的参数有:评论类别(由type、catagory决定)、页码(取值范围1-5)
分析完之后就可以写代码了文章来源:https://www.toymoban.com/news/detail-649422.html
🌹--<-<-<@美味的code👑
import re
import time
import requests
import pandas as pd
comment_url = 'http://pagelet.mafengwo.cn/poi/pagelet/poiCommentListApi?'
requests_headers = {
'Referer': 'https://www.mafengwo.cn/poi/3110.html',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36'
}
# Comment categories
a = [0, 0, 1, 1, 1, 2, 2, 2, 2, 2, 0]
b = [0, 2, 13, 12, 11, 134700810, 173942219, 112047583, 112968615, 143853527, 1]
# Iterate through ten categories of comments
for i in range(11):
# Get comments from five pages for each category
for num in range(1, 6):
print('Fetching Page', num)
requests_data = {
'params': '{"poi_id":"3110","type":"%d","category":"%d","page":"%d","just_comment":1}' % (a[i], b[i], num)
}
response = requests.get(url=comment_url, headers=requests_headers, params=requests_data)
if 200 == response.status_code:
page = response.content.decode('unicode-escape', 'ignore').encode('utf-8', 'ignore').decode('utf-8')
page = page.replace('\\/', '/')
date_pattern = r'<a class="btn-comment _j_comment" title="Add Comment">Comment</a>.*?\n.*?<span class="time">(.*?)</span>'
date_list = re.compile(date_pattern).findall(page)
star_pattern = r'<span class="s-star s-star(\d)"></span>'
star_list = re.compile(star_pattern).findall(page)
comment_pattern = r'<p class="rev-txt">([\s\S]*?)</p>'
comment_list = re.compile(comment_pattern).findall(page)
best_comment = []
for num in range(0, len(date_list)):
date = date_list[num]
star = star_list[num]
comment = comment_list[num]
comment = str(comment).replace(' ', '')
comment = comment.replace('<br>', '')
comment = comment.replace('<br />', "")
comment = comment.replace('\n', "")
comment = comment.replace("【", "")
comment = comment.replace("】", "")
comment = comment.replace("~", "")
comment = comment.replace("*", "")
comment = comment.replace('<br />', '')
best_comment.append(comment)
df = pd.DataFrame({'date': date_list, 'rating': star_list, 'comment': comment_list})
df['comment'] = best_comment
df.to_csv('mafengwo.csv', mode='a', encoding='gb18030', index=False, header=None)
print('Write successful')
else:
print("Fetch failed")
既然都看到這裏了,不如点个关注+收藏再走咯!? 文章来源地址https://www.toymoban.com/news/detail-649422.html
到了这里,关于【爬虫】爬取旅行评论和评分的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!