Python爬虫——Urllib

这篇具有很好参考价值的文章主要介绍了Python爬虫——Urllib。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Python爬虫——Urllib

  • 爬虫小白
  • 爬虫语法
  • 爬虫技术

Urllib

1、什么是互联网爬虫

  • 通过一个程序,根据url进行爬取网页,获取游泳信息
  • 通过程序模拟浏览器,去向服务器发起请求,获取响应信息

2、爬虫核心

  1. 爬取网页:爬取整个网页,包含了网页中所有内容
  2. 解析数据:将网页中得到的数据进行解析
  3. 难点:爬虫和反爬虫之间的博弈

3、爬虫用途

  • 数据分析/人工数据集
  • 社交软件冷启动
  • 舆情监控
  • 竞争对手监控

4、爬虫分类

4.1 通用爬虫
  • 实例
    • 百度、360、google、sougo等搜索引擎
  • 功能
    • 访问网页->抓取数据

**注意:**通用爬虫不是我们关注的重点。

4.2 聚焦爬虫
  • 功能
    • 根据需求,实现爬虫程序,抓取需要的数据
  • 设计思路
    1. 确定要爬取的url
      1. 如何获取url
    2. 模拟浏览器通过http协议访问url,获取服务器返回的html代码
      1. 如何访问
    3. 解析html字符串(根据一定规则提取需要的数据)
      1. 如何解析

5、反爬手段

5.1 User-Agent

User-Agent中文名为用户代理,简称UA,它是一个特殊字符串头,使得服务器能够识别客户使用的操作系统及版本、CPU类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。

5.2 代理IP
  • 什么是高匿名、匿名和透明代理?
    1. 使用透明代理:对方服务器可以知道你使用了代理,并且也知道你的真实IP
    2. 使用匿名代理:对方服务器可以知道你使用了代理,但不知道你的真实IP
    3. 使用高匿名代理:对方服务器不知道你使用了代理,更不知道你的真实IP
5.3 验证码访问
  • 打码平台
    • 云打码平台

5.4 动态加载网页,网站返回的是js数据,并不是网页的真实数据

  • selenium驱动真实的浏览器发送请求
5.4 数据加密
  • 分析js代码

6、urllib库使用

6.1 urllib基本使用
# -*- coding: utf-8 -*-
# @Time: 2022/9/24 0024 9:47
# @Author: Wang
# @File: 01_urllib_基本使用.py

# 使用urllib来获取百度首页的源码
import urllib.request

# (1)定义一个url,就是你要访问的地址
url = 'http://www.baidu.com'

# (2)模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url=url)

# (3)获取响应的页面源码
# read方法:返回的是字节形式的二进制数据
# 我们要将二进制的数据转换为字符串
# 二进制->字符串的动作:解码 decode('编码的格式‘)
content = response.read().decode('utf-8')

# (4)打印数据
print(content)
6.2 urllib的1个类型6个方法
# -*- coding: utf-8 -*-
# @Time: 2022/9/24 0024 10:02
# @Author: Wang
# @File: 02_urllib_1个类型和6个方法.py

import urllib.request

url = 'http://www.baidu.com'

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(url)

# 1个类型和6个方法
# response是HTTPResponse的类型
# print(type(response))

# 按照一个字节一个字节的去读
# content = response.read()
# print(content)

# 返回多少个字节
# content = response.read(5)
# print(content)

# 读取一行
# content = response.readline()
# print(content)

# 读取所有行
# content = response.readlines()
# print(content)

# 状态码
print(response.getcode())  # 200

# 请求url
print(response.geturl())  # http://www.baidu.com

# 状态信息
print(response.getheaders())

# 1个类型是HTTPResponse
# 6个方法 read readline readlines getcode geturl getheaders
6.3 urllib下载

下载网页

import urllib.request

# 下载网页
url_page = 'http://www.baidu.com'

# url代表的是下载的路径 filename文件名
# 在python中,可以写变量的名字,也可以直接写值
urllib.request.urlretrieve(url_page, 'baidu.html')

下载图片

# 下载图片
url_img = 'https://img2.baidu.com/it/u=1390544076,2637920000&fm=253&fmt=auto&app=138&f=JPEG?w=500&h=625'

urllib.request.urlretrieve(url_img, 'lisa.jpg')

下载视频

# 下载视频
url_vidio = 'https://vd2.bdstatic.com/mda-jmki3yf92d7w4ft9/v1-cae/sc/mda-jmki3yf92d7w4ft9.mp4?v_from_s=hkapp-haokan-hbf&auth_key=1664077962-0-0-93246b00edbdd7bda4482e4bbd5bc4d1&bcevod_channel=searchbox_feed&pd=1&cd=0&pt=3&logid=1362660174&vid=5104542693201134340&abtest=&klogid=1362660174'

urllib.request.urlretrieve(url_vidio, 'lisa.mp4')

7、请求对象的定制

UA反爬

# -*- coding: utf-8 -*-
# @Time: 2022/9/25 0025 11:32
# @Author: Wang
# @File: 04_urllib_请求对象的控制.py

import urllib.request

url = 'https://www.baidu.com'

headers = {
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 因为urlopen方法中不能存储字典 所以headers不能传递出去

# url的组成
# http/https   www.baidu.com   80/443   s   wd=周杰伦
#    协议            主机        端口号   路径    参数
# http   80
# https   443
# mysql   3306

# 因为参数顺序的问题 不能直接写url 和 headers
request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

8、编解码

urllib.parse.quote(‘杜兰特’)

直接访问https://www.baidu.com/s?wd=杜兰特会报错,无法识别汉字,所以需要通过quote把汉字转换为能识别的编码

# -*- coding: utf-8 -*-
# @Time: 2022/9/25 0025 11:50
# @Author: Wang
# @File: 05_urllib_get请求的quote方法.py

import urllib.request
import urllib.parse

# url = 'https://www.baidu.com/s?wd=%E6%9D%9C%E5%85%B0%E7%89%B9'

# 获取https://www.baidu.com/s?wd=杜兰特的网页源码

url = 'https://www.baidu.com/s?wd='

# 请求对象的定制 是为了解决反爬的第一种手段
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

# 将杜兰特三个字变成unicode编码的格式
# 我们需要依赖于urllib.parse
name = urllib.parse.quote('杜兰特')
print(name)  # %E6%9D%9C%E5%85%B0%E7%89%B9

# 请求对象的定制
request = urllib.request.Request(url=url+name, headers=headers)

# 模拟浏览器向服务器发送请求
response = urllib.request.urlopen(request)

# 获取响应的内容
content = response.read().decode('utf-8')

print(content)

9、urlencode

# -*- coding: utf-8 -*-
# @Time: 2022/9/27 0027 10:48
# @Author: Wang
# @File: 06_urllib_get请求的urlencode.py

# https://www.baidu.com/s?wd=周杰伦&sex=男

import urllib.request
import urllib.parse

data = {
    'wd': '周杰伦',
    'sex': '男'
}

a = urllib.parse.urlencode(data)

print(a)  # wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7

base_url = 'https://www.baidu.com/s?'

data = {
    'wd': '周杰伦',
    'sex': '男',
    'location': '中国台湾省'
}

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

new_data = urllib.parse.urlencode(data)

url = base_url + new_data

print(url)  # https://www.baidu.com/s?wd=%E5%91%A8%E6%9D%B0%E4%BC%A6&sex=%E7%94%B7&location=%E4%B8%AD%E5%9B%BD%E5%8F%B0%E6%B9%BE%E7%9C%81

request = urllib.request.Request(url=url, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

10、post请求百度翻译

  • 注意:

    • post请求的参数,不会拼接在url的后面的,而是需要放在请求对象定制的参数中

    • post请求的参数 必须要进行编码

    • 编码之后,必须调用encode()方法

import urllib.request
import urllib.parse

url = 'https://fanyi.baidu.com/sug'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}

data = {
    'kw': 'spider'
}

# post请求的参数 必须要进行编码
data = urllib.parse.urlencode(data).encode('utf-8')

print(data)  # b'kw=spider'

# post请求的参数,不会拼接在url的后面的,而是需要放在请求对象定制的参数中
# post请求的参数 必须要进行编码
request = urllib.request.Request(url=url, data=data, headers=headers)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

print(content)

obj = json.loads(content)

print(obj)

打印结果:文章来源地址https://www.toymoban.com/news/detail-546662.html

{"errno":0,"data":[{"k":"spider","v":"n. \u8718\u86db; \u661f\u5f62\u8f6e\uff0c\u5341\u5b57\u53c9; \u5e26\u67c4\u4e09\u811a\u5e73\u5e95\u9505; \u4e09\u811a\u67b6"},{"k":"Spider","v":"[\u7535\u5f71]\u8718\u86db"},{"k":"SPIDER","v":"abbr. SEMATECH process induced damage effect revea"},{"k":"spiders","v":"n. \u8718\u86db( spider\u7684\u540d\u8bcd\u590d\u6570 )"},{"k":"spidery","v":"adj. \u50cf\u8718\u86db\u817f\u4e00\u822c\u7ec6\u957f\u7684; \u8c61\u8718\u86db\u7f51\u7684\uff0c\u5341\u5206\u7cbe\u81f4\u7684"}]}
{'errno': 0, 'data': [{'k': 'spider', 'v': 'n. 蜘蛛; 星形轮,十字叉; 带柄三脚平底锅; 三脚架'}, {'k': 'Spider', 'v': '[电影]蜘蛛'}, {'k': 'SPIDER', 'v': 'abbr. SEMATECH process induced damage effect revea'}, {'k': 'spiders', 'v': 'n. 蜘蛛( spider的名词复数 )'}, {'k': 'spidery', 'v': 'adj. 像蜘蛛腿一般细长的; 象蜘蛛网的,十分精致的'}]}

到了这里,关于Python爬虫——Urllib的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Python爬虫学习笔记(三)————urllib

    目录 1.使用urllib来获取百度首页的源码 2.下载网页图片视频  3.总结-1 4.请求对象的定制(解决第一种反爬)   5.编解码 (1)get请求方式:urllib.parse.quote() (2)get请求方式:urllib.parse.urlencode() (3)post请求方式 6.ajax的get请求 (1)获取豆瓣电影的第一页的数据 (2)下

    2024年02月16日
    浏览(38)
  • 【Python爬虫】Python爬虫三大基础模块(urllib & BS4 & Selenium)

    参考资料 Python爬虫教程(从入门到精通) Python urllib | 菜鸟教程 Beautiful Soup 4 入门手册_w3cschool Selenium入门指南 Selenium教程 什么是 Scrapy|极客教程 Scrapy入门教程 1、网络爬虫是什么? 我们所熟悉的一系列 搜索引擎都是大型的网络爬虫 ,比如百度、搜狗、360浏览器、谷歌搜索等

    2024年02月12日
    浏览(51)
  • Python 爬虫之 urllib 包基本使用

    urllib 是一个 python 内置包,不需要额外安装即可使用,包里面包含了以下几个用来处理 url 的模块: urllib.request,用来打开和读取 url,意思就是可以用它来模拟发送请求,就像在浏览器里输入网址然后敲击回车一样,获取网页响应内容。 urllib.error,用来处理 urllib.request 引起

    2024年02月09日
    浏览(58)
  • Python爬虫库之urllib使用详解

      一、Python urllib库 Python urllib 库用于操作网页 URL,并对网页的内容进行抓取处理。 Python3 的 urllib。 urllib 包 包含以下几个模块: urllib.request - 打开和读取 URL。 urllib.error - 包含 urllib.request 抛出的异常。 urllib.parse - 解析 URL。 urllib.robotparser - 解析 robots.txt 文件。 二、urllib.r

    2024年02月11日
    浏览(47)
  • Python爬虫基础(一):urllib库的使用详解

    Python爬虫基础(一):urllib库的使用详解 Python爬虫基础(二):使用xpath与jsonpath解析爬取的数据 Python爬虫基础(三):使用Selenium动态加载网页 Python爬虫基础(四):使用更方便的requests库 Python爬虫基础(五):使用scrapy框架 urllib是一个python自带的库,不需要手动安装。

    2024年02月08日
    浏览(54)
  • Python爬虫技术系列-01请求响应获取-urllib库

    参考连接: https://zhuanlan.zhihu.com/p/412408291 1.1.1 urllib简介 Urllib是python内置的一个http请求库,不需要额外的安装。只需要关注请求的链接,参数,提供了强大的解析功能 Urllib库有四个模块:request,error, parse, robotparser request:发起请求(重要) error:处理错误 parse:解析RUL或

    2024年02月07日
    浏览(48)
  • python爬虫-------urllib代理和代理池(第十七天)

    🎈🎈作者主页: 喔的嘛呀🎈🎈 🎈🎈所属专栏:python爬虫学习🎈🎈 ✨✨谢谢大家捧场,祝屏幕前的小伙伴们每天都有好运相伴左右,一定要天天开心哦!✨✨  嗨嗨嗨,兄弟姐妹们。我是喔的嘛呀。今天的学习内容是:爬虫 urllib代理和代理池 目录 一、爬虫 urllib——代理

    2024年04月14日
    浏览(43)
  • Python爬虫 从小白到高手 各种最新案例! Urllib Xpath

    1.什么是互联网爬虫? 如果我们把互联网比作一张大的蜘蛛网,那一台计算机上的数据便是蜘蛛网上的一个猎物,而爬虫程序就是一只小蜘蛛,沿着蜘蛛网抓取自己想要的数据 解释1:通过一个程序,根据Url(淘宝)进行爬取网页,获取有用信息 解释2:使用程序模拟浏览器,去

    2024年02月10日
    浏览(47)
  • Python爬虫 —— urllib库的使用(get/post请求+模拟超时/浏览器)

    爬虫简介 :网络爬虫就是按照一定规则,自动抓取互联网信息的程序或脚本,由于互联网数据的多样性和资源的有限性,根据用户需求定向抓取相关网页并分析就是爬虫要做的工作 为什么我们把它称为爬虫(Spider)嘞?互联网就像是一张大网,而每一个网页就是这张大网上

    2023年04月13日
    浏览(45)
  • Python爬虫教程:使用requests、wget和urllib3下载图片和PDF文件

    本文介绍了如何使用Python中的requests、wget和urllib3库下载图片和PDF文件,通过示例代码演示了如何通过Selenium定位文件地址后,使用这三种方法进行文件下载操作。

    2024年02月09日
    浏览(73)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包