python-爬虫-爬取农产品批发价格中的蔬菜价格周数据

这篇具有很好参考价值的文章主要介绍了python-爬虫-爬取农产品批发价格中的蔬菜价格周数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

中华人民共和国农业农村部 http://www.moa.gov.cn/

  • 点击数据 → 点击周度数据 → 跳转网页 http://zdscxx.moa.gov.cn:8080/nyb/pc/frequency.jsp

python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter
python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter

分析

  • 抓包,发现getFrequencyData里面有我们想要的数据
    python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter

    python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter

  • 查看请求的提交参数
    python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter

  • 使用postman接口测试工具测试验证getFrequencyData里的url,发现测试返回的数据列表是空的

python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter

  • 继续分析,发现需要先访问updateFrequencyConditions,再访问getFrequencyData

爬取

import requests
import uuid
import time
  • 爬取第一页的数据
url1 = 'http://zdscxx.moa.gov.cn:8080/nyb/updateFrequencyConditions'
url2 = 'http://zdscxx.moa.gov.cn:8080/nyb/getFrequencyData'
data = {
    'page':'1',
    'rows':'20',
    'type':'周度数据',
    'subType':'农产品批发价格',
    'level':'0',
    'time':'["2019-37","2023-38"]',
    'product':'蔬菜'
}
headers = {
    'Cookie':'JSESSIONID=9EDB9C447A01905C7893BDE4C220CF65; yfx_c_g_u_id_10002896=_ck23091319002016340778405571397; yfx_f_l_v_t_10002896=f_t_1694602820630__r_t_1694602820630__v_t_1694602820630__r_c_0; _trs_uv=lmhmrkth_299_3qsk; wdcid=5dbb601a9ccf2804; wdses=369f04c5d15e94ad; _va_ref=%5B%22%22%2C%22%22%2C1694602920%2C%22http%3A%2F%2Fzdscxx.moa.gov.cn%3A8080%2F%22%5D; _va_ses=*; _va_id=34f0e583bc02483c.1694602920.1.1694602960.1694602920.; wdlast=1694603152',
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76',
    'Host':'zdscxx.moa.gov.cn:8080',
    'Origin':'http://zdscxx.moa.gov.cn:8080',
    'Referer':'http://zdscxx.moa.gov.cn:8080/nyb/pc/frequency.jsp',
    'X-Requested-With':'XMLHttpRequest'
}


s = requests.session()	# <requests.sessions.Session at 0x24b202c27f0>
r1 = s.post(url1,data=data,headers=headers)		# <Response [200]>
r2 = s.post(url2,data=data,headers=headers)		# <Response [200]>
content = r2.json()		# 得到json数据
data_list = content['result']['pageInfo']['table']
for item in data_list:
    v_data = {}
    v_data['时间'] = item['time']
    v_data['品类'] = item['product']
    v_data['指标'] = item['item']
    v_data['地区'] = item['area']
    v_data['单位'] = item['unit']
    v_data['数值'] = item['value']
    print(v_data)
  • 爬取所有页面的数据,只需要修改data里面的page
for page in range(1,11):  	# 一共10页
    url1 = 'http://zdscxx.moa.gov.cn:8080/nyb/updateFrequencyConditions'
    url2 = 'http://zdscxx.moa.gov.cn:8080/nyb/getFrequencyData'
    data = {
        'page':page,
        'rows':'20',
        'type':'周度数据',
        'subType':'农产品批发价格',
        'level':'0',
        'time':'["2019-37","2023-38"]',
        'product':'蔬菜'
    }
    headers = {
        'Cookie':'JSESSIONID=9EDB9C447A01905C7893BDE4C220CF65; yfx_c_g_u_id_10002896=_ck23091319002016340778405571397; yfx_f_l_v_t_10002896=f_t_1694602820630__r_t_1694602820630__v_t_1694602820630__r_c_0; _trs_uv=lmhmrkth_299_3qsk; wdcid=5dbb601a9ccf2804; wdses=369f04c5d15e94ad; _va_ref=%5B%22%22%2C%22%22%2C1694602920%2C%22http%3A%2F%2Fzdscxx.moa.gov.cn%3A8080%2F%22%5D; _va_ses=*; _va_id=34f0e583bc02483c.1694602920.1.1694602960.1694602920.; wdlast=1694603152',
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/116.0.0.0 Safari/537.36 Edg/116.0.1938.76',
        'Host':'zdscxx.moa.gov.cn:8080',
        'Origin':'http://zdscxx.moa.gov.cn:8080',
        'Referer':'http://zdscxx.moa.gov.cn:8080/nyb/pc/frequency.jsp',
        'X-Requested-With':'XMLHttpRequest'
    }


    s = requests.session()	# <requests.sessions.Session at 0x24b202c27f0>
    r1 = s.post(url1,data=data,headers=headers)	# <Response [200]>
    r2 = s.post(url2,data=data,headers=headers)	# <Response [200]>
    content = r2.json()		# 得到json数据
    data_list = content['result']['pageInfo']['table']
    for item in data_list:
        v_data = {}
        v_data['时间'] = item['time']
        v_data['品类'] = item['product']
        v_data['指标'] = item['item']
        v_data['地区'] = item['area']
        v_data['单位'] = item['unit']
        v_data['数值'] = item['value']
        print(v_data)
    time.sleep(5)

python爬取北京京丰岳各庄农副产品批发市场菜价,python,爬虫,jupyter文章来源地址https://www.toymoban.com/news/detail-833748.html

到了这里,关于python-爬虫-爬取农产品批发价格中的蔬菜价格周数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Java Web农产品销售系统

    基于 Java Web 技术农产品销售平台的设计与实现 摘 要 由于近些年来计算机技术的飞速发展,当前社会经济逐渐向互联网化方向转型。各行各业都建立起自己的信息网络,包括购物行业也渐渐从传统的线下实体店向互联网电商发展。网上购物这种方式改变了商品的交易模式,节

    2024年01月16日
    浏览(56)
  • 区块链溯源:让农产品更可信

    作者:禅与计算机程序设计艺术 区块链是一个不可或缺的新型互联网技术,它赋予了世界各个国家、地区甚至是个人,无论是商业还是金融领域,都可以参与其中,实现点对点的交流和价值传递。但是,随着这个技术的不断发展,越来越多的人也被它的强大的功能所吸引,纷

    2024年02月15日
    浏览(43)
  • 农产品小程序商城定制开发攻略

    在当前的电商环境下,小程序商城的开发已经成为了一种趋势。特别是对于农产品这类需要直接触达消费者的商品,小程序商城的开发不仅可以拓宽销售渠道,提升品牌影响力,更可以为消费者提供更便捷的购物体验。本文将详细介绍如何从零开始开发一个农产品小程序商城

    2024年02月10日
    浏览(51)
  • 基于SpringBoot的特色农产品销售设计与实现

    摘  要:目前市场上众多的特色农产品销售系统存在种种不足,比如系统无需登录即可查看农产品卖家的联系方式,并且交易大多为线下交易,很难实现线上购买、物流配送、线上收货收款的功能。本系统提供线上购买服务,使用数据库进行订单管理,设计优化交互界面,进

    2024年02月06日
    浏览(58)
  • 实战教学:农产品小程序商城的搭建与运营

    随着移动设备的普及和互联网技术的发展,小程序商城已经成为农产品销售的一种新兴渠道。本文将以乔拓云网为平台,详细介绍如何搭建和运营农产品小程序商城。 步骤一:登录乔拓云网后台 首先,进入乔拓云网站后台,找到并点击【商城】管理页面。 步骤二:进入小程

    2024年02月10日
    浏览(48)
  • 38. 【农产品溯源项目前后端Demo】概述 + 环境准备

    经过前面教程的学习,我们已经了解如何搭建多Orderer、多Peer的农产品溯源集群,从本节开始 我们配合前后端搭建完整农产品溯源项目。 注意 : 1)该教程给出的农产品溯源项目是Demo,并不是真实生产可用的项目,生产项目需要考虑更多的产品功能,一个农作物信息录入可

    2024年01月23日
    浏览(42)
  • 基于SpringBoot+微信小程序的农产品销售平台

    ✌全网粉丝20W+,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅 文末获取项目下载方式 🍅 一、项目背景介绍: 随着人们收入的不断增加、生活水平的普遍提高,对

    2024年02月05日
    浏览(47)
  • 基于java的农产品销售管理系统设计与实现

    基于java的农产品销售管理系统设计与实现 研究背景: 随着信息技术的迅速发展和应用,传统的农产品销售方式已经无法满足市场需求。在这样一个信息化和网络化的大背景下,设计和实现一个基于Java的农产品销售管理系统具有重要的研究背景和实际应用价值。 传统的农产

    2024年02月03日
    浏览(54)
  • 基于Android农产品商城交易设计与实现,毕业设计

    摘  要 人们生活水平随着发展不断的提升,人们对生鲜产品消费比越来越依赖,都希望吃到新鲜的食品。消费的加大给生鲜了全新的供应链及销售模式,那种传统的生鲜配送模式也在发生着变化。生鲜系统电商平台在我国目前是属于盛行的电商行业,快递物流配送冷链仍存在

    2024年02月03日
    浏览(43)
  • 42. 【农产品溯源项目前后端Demo】后端-区块链连接服务

    本节介绍后端代码是如何与区块链网络连接的。 1.在后端代码里fabric包 负责与区块链网络连接,并发送交易。 2.fabric.Const文件 定义 区块链网络拓扑结构,请查看注释。

    2023年04月08日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包