爬虫的http和https基础-Toy模板网

这篇具有很好参考价值的文章主要介绍了爬虫的http和https基础。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

200 OK：这个是最常见的，也是爬虫工程师最喜欢的，代表你本次的请求顺利拿到了响应，没有任何问题
201 Created：201代表创建成功。通常是指浏览器或爬虫给服务器上传数据，服务器接受并验证数据没有问题之后，服务器返回客户端一个201，代表成功。提交数据，通常是POST方法提交
202 Accepted：服务器拿到了数据，但是还没处理好结果，所以先发回一个202.这个状态码一般在爬虫中看不到，但是适合在异步操作的情况下返回。

301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。
301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。
301 Moved Permanently：当前资源的网址永久性迁移，并且会给你一个新的网址。值得注意的是，如果是POST请求拿到301，则下一次请求自动变成GET。

400 Bad Request：错误请求，400系列最典型的，看到这个错误，要么是请求头参数不对，要么是请求主体的内容错误。
401 Unauthorized：401认证错误，这个还是非常好识别的，身份无法识别或者身份权限不够，检查请求头中的身份字段信息和Cookie值。
403 Forbidden：禁止访问，大并发爬虫中比较容易碰到，问题很直观，你访问太多了【换IP或电脑】，或者身份权限不够【换身份信息】。
404 Not Found：404找不到，这个错误不用太在意，用浏览器测试几次就好，要么是你的网址写错了，要么是网址对应的网络资源无法加载【这不怪程序】。
405 Method Not Allowed：405方法不被允许，简单且少见的错误，意思就是你请求的姿势不对，检查请求方法，如Get、Post、Put、Delete，总有一个是对的。

500 Internal Server Error：网络错误，就和你断网了一样，具体点就是你的网络和网址所在网络，无法连通。
502 Bad Gateway：网关错误，请求出去要被网关解析目的地址并转发你的请求，这个错误就是网关不工作了，无法把你的请求发出去。这里的网关，可以理解成你的路由器或者你用的代理IP服务器。
503 Service Unavailable：服务不可用，这个就是目标服务器的问题了，你要做的是通知网站管理员或者等。一般情况下，国家网站部分有休息时间，例如晚上关网。商业服务器的服务不可用，大多是升级或者临时卡了，可以过段时间再试。
504 Gateway Timeout：网关超时，这个504和502，都是网关的问题，但是又不一样。504是你找网关转发，你默认等待180秒【3分钟】，然后网关超时了没理你；502的问题是，你压根就找不到网关。
505 HTTP Version Not Supported：HTTP版本不支持，这个比较少见，但是肯定有。网站内容太新或者太旧，对客户端的http版本要求不一样。你需要检查下本次请求所使用的http版本，然后改成网站指定版本，就可以解决这个问题。