目录
一、什么是HTTP
二、抓包工具
三、请求的首行 URL
四、URL的各部分详细介绍
一、什么是HTTP
现在网页上,我们常见的是https,但是在二十年前是以http为主,这个协议也叫超文本传输协议,文本->字符串,“超文本”->图片/视频
HTTP响应:比如搜狗版的HTML,这个响应的内容,往往是一个html内容
一个网站分为前端+后端(太多了,说不过来)
前端:html(描述网页的结构),css(描述网页的样式),js(网页的行为,与用户的交互)vue esc就不说了
网页上HTML,css,js都是在浏览器执行的,都是访问服务器的时候,从服务器下载到浏览器上,然后才能显示运行。其他的程序都是要先安装,才能够使用,网页是随时用随时下载。网页优势:服务器随时更新,用户就可以用上新版本
劣势:性能比较有限,很难去有一些复杂操作。
二、抓包工具
抓包工具是一种代理:但是代理不仅仅是抓包工具,还有很多体现形式。
代理客户端的叫正向代理
代理服务器的叫反向代理
抓包的工具有很多:wireshark(功能很丰富,但是却很复杂)
fiddler抓包工具(足以应对大部分场景,而且简单方便,但是功能比上面少点,但是够用)
1.直接搜索后安装
有验证码,为啥有复杂的验证码,互联网上80%带宽是被爬虫消耗的。
2.使用
左侧,当前机器上有哪些http数据报交互(不仅能抓浏览器,而且能抓到所有程序)
电脑程序在后台和服务器悄悄的交互(有的为了实现某种功能,有的偷拿你隐私)
右上角是请求的详情
右下角是响应的内容
刚好装完fidder之后,默认只能抓到http的数据,抓到了https,抓不到https(网络上httsp是主流)所以需要稍微设置一下,让fiddler可以抓到https。
1.点击tools->options->https勾上提示框(意思勾选有风险,一路yes)https是加密的,要显示,先解密,要信任保证书。
开了fidder,客户端服务器http,https的请求和响应都会在fidder过一遍(但有一些东西会影响fidder正确运行)
1.https要勾选正确
2.有的代理程序可能和fiddler冲突,确保使用fiddler的时候关闭其他代理。
3.有的浏览器插件,也可能和fiddler冲突
这个是抓去搜狗主页交互过程,上面这些标签页,站在不同视角来解析请求和响应,HTTP是文本协议,IP,TCP ,UDP二进制协议
HTTP加密后是二进制,但是我们勾选完毕就恢复成文本了。在这里我们点击row打开响应,当前http响应,经常会进行压缩(节省带宽)
http响应的内容通常是HTML,CSS,JS
这么看不太直观,干脆这么看
GET http://www.sougou.com/HTTP 11.1. //1.首行 ······ Accept:text/html,application/xhtml //2.请求头 //3.空行 body //4.正文
响应报文
HTTP/1.1 200 ok. //1.首行 Connection //2.响应头 //3.空行 body //4正文
三、请求的首行 URL
GET https://www.sogou.com/HTTP/1.1
GET:方法
https://www.sogou.com:URL(请求,就是客户端给服务器发起的一个数据,这里要明确指出要访问的服务器是啥,要访问的服务器资源是什么,我们在JDBC中讲过:URL是唯一资源定位符,用来描述网络上的资源的)
HTTP/1.1 :版本号
RFC标准文档,TCP,UDP,IP,HTTP等网络协议,RFC标准文档有更精准的细节内容
http://user:pass@www.example.jp:80/dir/index.html?uid=1#ch1 (URL的完整细节)
简单来说 协议名://IP地址:端口号/路径?querystring ->(querystring是键值对的数据,k=uid这个东西,value则是uid等于的那个东西
http:协议名字(协议方案名)
user:pass@ :大部分现在这个地方是不用的,所以也不用多介绍
www.example.jp:可以是IP地址,也可以是域名,也可是外网IP(本身唯一),也可以是内网(访问局域网中的设备)还可以是环回IP(访问自己)
80:服务器端口号
dir/index.html?:访问服务器上哪个资源
uid=1:查询字符串(访问资源,带上啥样的参数)
ch1:片段标识符 (不常见,主要文档类文件)
这个东西就如同卖烤冷面
http://bhu:18/烤冷面?葱花=正常&香菜=苦苦放&醋=必须多放
->针对访问资源进行的补充说明,查询字符串,是键值对的格式,键值对之间用&分隔,键和值之间,用&分隔,键与值之间,使用=分隔,查询字符串以?开始。
实践上,URL来说,上述的几个部分,都是可以省略的~不是说哪个部分必须得保存,IP地址/域省略,此时相当于是访问当前服务器的地址。
访问B站主页,必须带有bilibili主页的html这个html又回触发一些其他的http请求,这些后续触发的http请求,就可以省略ip,省略IP就相当于用bilibili一样的IP。
四、URL的各部分详细介绍
端口号其实也可以省略(常见),省略时,浏览器会自动加上端口(这个端口号表示的是访问目标服务器的是哪个端口)
http:端口号80
https:端口号443
知名端口号:1-1024,都被一些常用的服务器(知名的老东西服务器瓜分了),因此一个网页部署于服务器的时候,往往遵守上述规则,把http绑定到8080,https绑定到443,浏览器访问你的服务器,就不必去多余指定窗口。
其实带层次的路径也能够省略
https://sogou.com/
如果省略相当于访问的是/
/称为根目录(目录是一个树形结构,根目录,就相当于树根一样,服务器提供的资源,也是类似于目录结构一样的,树形结构来组织的,有树,那么就会有树根,/就是树根->通常根节点就会对立服务器的对应主页(约定的规则)
查询字符串也可以没有(有和没有是看我们后端程序员们决定的)
query string中带有一些特殊符号,这些特殊符号,可能在url本身就有一定含义,就导致浏览器/服务器解析失败!(在c++中+就属于特殊符号,+是%2B,假如加号不去切换,就可能导致浏览器/服务器解析失败
/,?,&,=,#同理,都要转换,url的encode的本质转义字符(和我们的/n还不一样这种有自己的规则)
如:c++你好
把转换的内容的二进制的每字节,都用十六进制表示出来,然后每字节前面加一个%
你:十六进制是:E4BDA0
好:十六进制是:E5A5BD
最后会C%2B%2B%E4%BD%A0%E5%A5%BD文章来源:https://www.toymoban.com/news/detail-716110.html
经过URL的encode之后,此时querystring就不会出现特殊含义的符号,浏览器和服务器才可以正常识别~文章来源地址https://www.toymoban.com/news/detail-716110.html
到了这里,关于HTTP初识,fiddler的使用,URL各部分介绍,QueryString的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!