最近Friendtech挺火的,所以想写一个全自动的脚本,包含自动买卖+推特账号粉丝数量检测。按理说这种东西属于很简单的爬虫,啪啪啪requests发个get请求就数据到手。
如果这么简单,那就真的谢天谢地了😂😂
先说说遇到的坑。
1.返回数据中包含“Just a moment"内容的验证页面。
以前没见过这种,然后f12打开查看。怪了,最开始没有验证的时候,请求方式是get;一旦有了这个"Just a moment"的验证页面,再f12打开查看,页面的请求方式就变成了post,而且包含一堆数据。如下。
请求方式是:get
post的找不到了,不放了。
这把我搞懵逼了,没见过这种啊。
最开始我想的是多弄一些cookie,referer,usr-agent这些,随机选取让脚本跑。**但是总是当时正常,隔天就失效。查看返回数据,内容包含"Just a moment"的网页验证。**有点头疼。
然后针对get和Post会切换的问题,所以我想要不暴力解决把。
先try get方法,等解析数据报错的时候except切换到Post方法,header,cookie,referer都全部切换。
try:
re = requests.get(u, headers=h2)
# print(re.status_code)
sp = BeautifulSoup(re.text, 'html.parser')
# print(sp)
ds = sp.find_all('table', class_='table table-hover')[0].find('tbody').find_all('tr')[:5]
except BaseException as e:
print('使用了Post方法')
re = requests.post(u, headers=h2)
print(f'post方法的返回码{re.status_code}')
sp = BeautifulSoup(re.text, 'html.parser')
# print(sp)
ds = sp.find_all('table', class_='table table-hover')[0].find('tbody').find_all('tr')[:5]
# print(ds)
a_l = []
然后实例化方法运行,ok,pycharm里测试运行正常,然后pyinstaller打包exe本机测试可以运行。
我满心欢喜的把exe包复制到win 2012服务器上运行,报错报错报错,草!
看来这种办法行不通。😢😢
那只能换方法了。谷歌大法开启,搜just a moment,5秒盾。然后看到一篇猛文。
(链接:https://m.163.com/dy/article/I0C2IR0A05561QYO.html?spss=adap_pc)
这跟我的问题不是一毛一样吗?也是假5秒盾。
ok,开搞。
装库,撸代码。
import time
from curl_cffi import requests
from bs4 import BeautifulSoup
def ooo():
bs_u = 'https://basescan.org'
url = 'https://basescan.org/address/0xcf205808ed36593aa40a44f10c7f7c2f67d4a4d4'
re = requests.get(url=url, impersonate="chrome101", verify=False)
sp = BeautifulSoup(re.text, 'html.parser')
# print(re)
ds = sp.find_all('table', class_='table table-hover')[0].find('tbody').find_all('tr')[:5]
print(ds)
a_l = []
for t in ds:
tp = t.find_all('td')[2].text
vl = t.find_all('td')[9].text
if tp == 'Buy Shares' and vl == '0 ETH': # 最新注册用户
buy = t.find_all('td')[6].text
a_l.append(buy)
elif tp == 'Sell Shares': # 非新注册用户
tx_u = bs_u + '/tx/' + t.find_all('td')[1].text
re2 = requests.get(tx_u, impersonate="chrome101", verify=False)
sp2 = BeautifulSoup(re2.text, 'html.parser')
sp2_li = sp2.find_all('ul', id='wrapperContent')[0].find_all('li')[2]
addr_sell = sp2_li.find('span', class_="hash-tag text-truncate tooltip-address").text # 获取被卖的地址
if '000003125 ETH' in str(sp2_li):
a_l.append(addr_sell)
print(a_l)
return a_l
while 1:
try:
ooo()
except BaseException as e:
print(e)
time.sleep(1200)
pycharm运行,正常,能获取到数据;pyinstaller打包,自己电脑上运行,正常获取到数据;复制到win 2012服务器上,正常获取到数据!!!!终于成功了!!!!哈哈哈哈哈哈哈哈哈😂😂😂😂😂
我尼玛,困扰我几天了。不知道后续有没有幺蛾子,目前看起来是能运行的。
curl_cffi这个库,能破解大部分这种requests.get后返回数据包括"Just a moment"的这种网页验证。
详细原理后续再慢慢研究,最近手头工作忙。
最后放上程序正常运行的美照。
文章来源:https://www.toymoban.com/news/detail-811625.html
requests的速度难蚌,已经改用wss节点,也不用破解验证网页了,速度也提升了很多倍😂文章来源地址https://www.toymoban.com/news/detail-811625.html
到了这里,关于Python针对Cloudflare的假5秒盾验证逆向的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!