Python 使用fake_useragent生成随机User-Agent

这篇具有很好参考价值的文章主要介绍了Python 使用fake_useragent生成随机User-Agent。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大多数情况下,需要设置请求头。而在请求头中,随机更换User-Agent可以避免触发相应的反爬机制。使用第三方库fake-useragent便可轻松生成随机User-Agent。

安装使用

以下简单介绍fake-useragent的安装使用,以及可能出现的问题和解决方法。
安装:

pip install fake-useragent -i https://pypi.doubanio.com/simple

使用:

生成随机的一个User-Agent
from fake_useragent import UserAgent

# 1、随机生成一个User-Agent
ua = UserAgent().random
 
headers = {'UserAgent': ua}
生成指定的User-Agent
from fake_useragent import UserAgent

# 2、生成Chrome浏览器的User-Agent
ua = UserAgent().chrome
 
headers = {'UserAgent': ua}
# 3、生成Firefox浏览器的User-Agent
ua = UserAgent().firefox
 
headers = {'UserAgent': ua}

使用fake-useragent的过程中出现了FakeUserAgentError错误。在搜索到的很多解决方法都无效,包括:

禁用服务器缓存:ua = UserAgent(use_cache_server=False)
不缓存数据:ua = UserAgent(cache=False)
忽略 SSL 验证:ua = UserAgent(verify_ssl=False)
更新fake-useragent:pip install -U fake-useragent

发生异常:
fake_useragent.json文件放在哪里,爬虫,python,开发语言

原因: 下载是版本不一致哦!

问题解决:

1. 查看fake_useragent的安装版本

pip list

fake_useragent.json文件放在哪里,爬虫,python,开发语言

2. 下载fake_useragent.json文件到本地

a. 打开网页:http://fake-useragent.herokuapp.com/browsers/0.1.11

注意:https无法打开,0.1.11是版本号,可以进行修改,从而下载对应版本号的json文件

b. 右击另存为,把文件名改为 fake_useragent_0.1.11.json ,保存类型为所有文件

注意:下载的json文件名后面的版本号要与当前fake_useragent的版本号保持一致,不一样进行修改,否则后面会出错

3. 把fake_useragent_0.1.11.json文件放到指定的目录中

fake_useragent.json文件放在哪里,爬虫,python,开发语言

代码中使用一个:UserAgent(path='./fake_useragent_0.1.11.json')文章来源地址https://www.toymoban.com/news/detail-797902.html

from fake_useragent import UserAgent
 
ua = UserAgent(path='./fake_useragent_0.1.11.json').random
 
headers = {'UserAgent': ua}

到了这里,关于Python 使用fake_useragent生成随机User-Agent的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python 生成随机图片验证码

    在写一个Web项目的时候一般要写登录操作,而为了安全起见,现在的登录功能都会加上输入图片验证码这一功能,在利用Django开发Web项目的过程中,可以使用 Python 生成一个如下所示的图片验证码: pillow详细内容参考官方文档:https://pillow.readthedocs.io/en/stable/?badge=latest pillow的

    2024年02月15日
    浏览(49)
  • python 生成随机聚类数据

    数据是满足高斯分布的随机数 生成一个m维属性,样本数量=2n+n+1.2n+0.8n=5n的数据集。 每一个for循环代表一个类,共生成四个类(0,1,2,3四类)。 返回生成的数据集和对应的标签。 sigma 控制方差,表示一个类的松散程度; mean 是一个类的平均值,控制数据取值以及类类之间

    2024年02月13日
    浏览(38)
  • python:random --- 生成伪随机数

    该模块实现了各种分布的伪随机数生成器。 对于整数,从范围中有统一的选择。 对于序列,存在随机元素的统一选择、用于生成列表的随机排列的函数、以及用于随机抽样而无需替换的函数。 在实数轴上,有计算均匀、正态(高斯)、对数正态、负指数、伽马和贝塔分布的

    2024年02月09日
    浏览(51)
  • python 生成随机字符串(大小写英文字母、数字组成)、生成随机的无重复字符的字符串

    生成随机的 字符串 以下例子中,生成随机的字符串(大小写英文字母、数字组成)。 生成随机的无重复字符的字符串 以下例子中,生成随机的无重复字符的字符串(大小写英文字母、数字组成),但其长度不能超过样本总长。   random 模块 random.choice(seq) 从非空序列 seq 中随

    2024年02月04日
    浏览(67)
  • 如何用Python生成4位数的随机数字

    如上所述,我们可以使用Python库做各种事情,如创建虚拟环境、单元测试、创建数独解算器等。我们可以用Python做的另一个简单活动是生成随机数。 有时在编码时,我们可能需要不同位数的随机数。我们可以把它用于密码、设备的安全引脚等。 使用random 模块在Python中生成随

    2024年02月08日
    浏览(40)
  • 使用 NumPy 随机生成矩阵

    使用 NumPy 随机生成矩阵 在科学计算领域中,随机数生成是一种常见的需求。在 Python 中,NumPy 库提供了众多生成随机矩阵的函数,可以轻松地实现随机数生成。本文将详细介绍 NumPy 中生成随机矩阵的各种方法。 np.random.rand() np.random.rand() 函数用于返回 [0, 1) 之间的随机浮点数

    2024年02月03日
    浏览(40)
  • Python生成随机数的一个标准库-random

    Random库Python中用于生成随机数的一个标准库。计算机没有办法产生真正的随机数,但它可以产生伪随机数。 伪随机数是计算机按照一定的运算规则产生的一些数据,只不过这些数据表现为随机数的形式。计算机中采用梅森旋转算法生成为随机序列,序列中的每一个元素就是伪

    2023年04月26日
    浏览(43)
  • Python自制随机食物生成器(食物可自拟)

    新年好啊 朋友们 现在年初八都开始上班了 一部分学生也开始上课咯 当然现在还在家躺着的 真羡慕啊 每次不在家吃饭 一出来就要考虑该吃啥 啥都想吃 但是兜里条件有限 所以就只能极限选择咯 为了不再纠结 咱就是直接做个 随机食物挑选器 有人就说 这网上一抓一大把 没必

    2024年02月10日
    浏览(42)
  • 如何使用MATLAB生成随机矩阵

    如何使用MATLAB生成随机矩阵 MATLAB是一种强大的数值计算和科学编程软件,它提供了许多功能强大的工具来生成和处理矩阵。在MATLAB中,要生成随机矩阵,可以使用内置的随机数函数。本文将向您展示如何使用MATLAB生成随机矩阵,并提供相应的源代码示例。 使用rand函数生成随

    2024年02月08日
    浏览(44)
  • PostgreSQL不使用扩展,生成随机int8值,生成均匀分布的随机int8值

    在PostgreSQL中,可以使用 pgcrypto 扩展提供的函数 gen_random_uuid() 生成随机的UUID(Universally Unique Identifier),其中包含8字节随机整数(int8值),如下所示: 上述SQL语句使用 gen_random_uuid() 函数生成随机UUID,并将其转换为字符串类型。然后,使用 substring() 函数从字符串中提取前

    2024年02月09日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包