【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容

这篇具有很好参考价值的文章主要介绍了【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一、前置知识1

二、前置知识2

requests库的7个主要方法

语法:

注解:

三、扩展工具

四、网络安全小圈子


一、前置知识1

顾名思义网络爬虫第一步,爬取目标 URL的网页的信息

可以使用 urllib.request 和 requests发送请求,然后返回对应的数据(py3)

1、urllib 库是 Python 内置的

2、requests 库是第三方库(需额外安装,pip install requests)



二、前置知识2

requests库的7个主要方法

方法     说明
requests.request()     构造一个请求
requests.get()     获取HTML网页的主要方法(即HTTP的GET)
requests.head()     获取HTML网页头的信息方法(即HTTP的HEAD)
requests.post()     向HTML网页提交POST请求方法(即HTTP的POST)
requests.put()     向HTML网页提交PUT请求的方法(即HTTP的PUT)
requests.patch()     向HTML网页提交局部修改请求(即HTTP的PATCH)
requests.delete()     向HTML页面提交删除请求(即HTTP的DELETE)

语法:

requests.request(method,url,**kwargs)

注解:

1、method:请求方式(get/put/post等七种)

如resp = requests.request(‘GET’,url,**kwargs)


2、url:目标url

必选项(不可或缺)


3、**kwargs:控制访问参数(13个,为可选项)

params : 字典或字节序列,作为参数增加到url中
data : 字典、字节序列或文件对象,作为Request的内容
json : JSON格式的数据,作为Request的内容
headers : 字典,HTTP定制头(模拟浏览器进行访问)
cookies : 字典或CookieJar,Request中的cookie
files : 字典类型,传输文件
timeout : 设定超时时间,秒为单位
proxies : 字典类型,设定访问代理服务器,可以增加登录认证
allow_redirects : True/False,默认为True,重定向开关
stream : True/False,默认为True,获取内容立即下载开关
verify : True/False,默认为True,认证SSL证书开关
cert : 本地SSL证书路径
auth : 元组,支持HTTP认证功能

import requests

if __name__ == '__main__':
    url1="https://beautifulsoup.readthedocs.io/zh_CN/latest/"
    req=requests.get(url=url1)
    req.encoding='utf-8'
    print(req.text)

注:

导入requests模块。

如果该脚本被直接执行(而不是被引入为模块),则执行以下操作:

  • 将变量url1赋值为"Beautiful Soup 4.4.0 文档 — beautifulsoup 4.4.0q 文档"。
  • 使用requests.get()函数发送一个GET请求到url1指定的URL,并将返回的响应对象赋值给变量req
  • 设置req对象的编码为UTF-8。
  • 打印req.text,即获取到的响应文本内容。

获取到的返回包内容在最下方方框中

(使用pycharm工具)

【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全



三、扩展工具

jupyter notebook工具(平时可能都习惯使用pycharm)

安装

pip3 install jupyter

【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全

查看帮助信息

jupyter notebook -h

【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全

启动

jupyter notebook

(如果端口占用的情况:jupyter notebook --port <port_number>)

【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全

 进入到了主页面【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全

(还有很多配置,可以使界面更清爽,我只想使用软件的功能,界面想配置清爽可以查看一下软件的其他配置)

软件的使用:

如图所示点击完成以后会新建一个窗口

在里面复制代码运行即可

【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容,【网络安全-带你练爬虫】,python,爬虫,web安全,安全



四、网络安全小圈子

README.md · 书半生/网络安全知识体系-实战中心 - 码云 - 开源中国 (gitee.com)https://gitee.com/shubansheng/Treasure_knowledge/blob/master/README.md

GitHub - BLACKxZONE/Treasure_knowledgehttps://github.com/BLACKxZONE/Treasure_knowledge文章来源地址https://www.toymoban.com/news/detail-517406.html

到了这里,关于【网络安全带你练爬虫-100练】第1练:发送请求获取返回内容的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【网络安全带你练爬虫-100练】第2练:爬取指定位置数据

    目录 一、思路 二、工具 三、代码处理 第一部分:发起请求+接收响应(不过多讲) 第二部分:解析HTML页面+提取数据 第三部分:处理数据 分解步骤,化繁为简 爬虫分为五步走: 发起HTTP请求:爬虫使用HTTP协议向目标网址发送请求,请求获取特定的HTML页面。这可以通过使用

    2024年02月12日
    浏览(46)
  • 【网络安全带你练爬虫-100练】第14练:文件内容的读取、取出

    目录 一、目标1:把文件内容遍历取出 二、目标2:把文件内容全部取出 三、网络安全O  (1)如果文件脚本在不同目录 (2)如果文件直接和脚本在同一目录  (1)存放取出的元素 (2)将目标文件内容的元素依次取出 (for循环) (3)所有元素依次添加进列表中 (4)完整

    2024年02月16日
    浏览(42)
  • 【网络安全带你练爬虫-100练】第23练:文件内容的删除+写入

    目录 0x00 前言: 0x02 解决: 本篇博文可能会有一点点的超级呆 你是不是也会想: 使用pyrhon将指定文件夹位置里面的1.txt中数据全部删除以后----然后再将参数req_text的值写入到1.txt (小呆呆实锤) 区分一下: “w”模式: 使用 \\\"w\\\" 模式打开一个文件时,如果该文件已经存在,

    2024年02月09日
    浏览(40)
  • 【网络安全带你练爬虫-100练】第11练:xpath快速定位提取数据

    目录 一、目标1:使用etree解析数据 二、目标2:使用xpath爬取指定数据 三、目标3:提取指定数据  四、网络安全小圈子 其余的不用过多介绍,前面的练习都给大家已经过了一遍 其中数据解析代码如下 对返回的内容进行UTF-8解码,不然会出现乱码 我们来爬一下这几个标题  

    2024年02月13日
    浏览(80)
  • 【网络安全带你练爬虫-100练】第5练:爬虫的翻页操作+错误情况过滤

    目录 一、翻页分析: 二、代码逻辑 1、入口程序修改 2、page参数传入 三、完整代码 1、运行结果 2、错误分析: 3、缺陷代码: 4、完善逻辑: 5、完善代码: (说在前面,任何逻辑都有很多方法实现,我们先从最笨的讲起) (注:其中的cookie需要填自己的) 通过对比第一页与

    2024年02月12日
    浏览(46)
  • 【网络安全带你练爬虫-100练】第8练:json数据的最小项提取

    目录 一、目标1:爬取指定json中数据 二、目标2:循环取json中数据 三、目标3:提取每个数据中的某一项 四、网络安全小圈子 爬取data里数据   核心代码: (1)json.loads()方法可用于解析有效的JSON字符串并将其转换为Python字典 (2)dirt1[\\\'data\\\']是打印json中的data部分 运行结果:

    2024年02月13日
    浏览(45)
  • 【网络安全带你练爬虫-100练】第19练:使用python打开exe文件

    目录 一、目标1:调用exe文件 二、目标2:调用exe打开文件 1、subprocess 模块允许在 Python 中启动一个新的进程,并与其进行交互 2、subprocess.run() 函数来启动exe文件 3、subprocess.run([\\\"文件路径\\\"],check=True/) 4、check:如果程序返回一个非零的退出码,subprocess.run() 函数就会抛出一个

    2024年02月11日
    浏览(40)
  • 【网络安全带你练爬虫-100练】第22练:数据包中参数提取与处理

    目录 一、目标1:GET数据包的处理 1、GET数据包中参数的提取 2、GET请求中 统计参数个数 二、目标2:POST数据包的处理 1、post中参数个数的提取 2、POST请求中 统计参数个数 (与GET类似,就不再做叙述了)

    2024年02月10日
    浏览(50)
  • 【网络安全带你练爬虫-100练】第21练:批量获取文件夹中文件名

    目录 一、目标1:使用python爬取指定文件夹中的文件名 二、目标2:在文件夹指定目录打开命令行 方法一:使用 os 模块 将 /path/to/folder 替换为实际的文件夹路径。 os.listdir() 函数用于获取指定文件夹中的文件名列表,然后可以遍历列表并处理每个文件名 方法二:使用 glob 模块

    2024年02月09日
    浏览(37)
  • 【网络安全带你练爬虫-100练】第10练:re的正则匹配、文件夹创建、图片下载

    目录 一、目标1:正则匹配图片的URL 二、目标2:创建文件夹 三、目标3:保存图片到test文件夹中  四、网络安全小圈子 URL位置 我们可以找到img都在这个标签里面     请求方法GET   提取URL位置 需要掌握的 目标标签如下: 需要提取的内容如下: (多加了一个为转义字

    2024年02月13日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包