Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

这篇具有很好参考价值的文章主要介绍了Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

项目介绍

使用Scrapy进行数据爬取,MySQL存储数据,Django写后端服务,PyEcharts制作可视化图表,效果如下。

项目下载地址:Scrapy爬取数据,并使用Django框架+PyEcharts实现可视化大屏

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

发现每个模块都有详情页,可以通过点击首页各个模块的标签,进行访问。

基于数据可视化的游客行为分析系统,包含以下几类图表。

  • 景点数量各区县分布地图
  • 景点数量各区县分布图
  • 景点评分分布图
  • 景点浏览时间分布图
  • 景点评论词云图
  • 景点浏览人数占比分析
  • 景点人数占比分析
  • 景点评分数据排名

还有登录界面,可以自己注册账号,说明包含用户管理。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

接下来教大家如何去部署,以win10为例。

1、项目部署-Python

首先需要安装Anaconda(版本4.11.0),方便创建Python环境。

Anaconda的安装方法,大家可以自行百度,还是比较容易的。

安装好以后,创建虚拟环境,根据项目提供的【requirements.txt】文件,安装所需的依赖。

# 创建虚拟环境
conda create --name test python=3.8.13

# 激活环境
conda activate test

# 安装依赖
pip install -r requirements.txt

2、项目部署-MySQL

然后是安装MySQL数据库(版本8.0.33),推荐使用msi文件进行安装,不容易出错。

一定要记住root账户的密码,后续会用到。

安装好以后,创建数据库,使用数据库。

# 创建数据库
create database hunan_web;

# 使用数据库
use hunan_web;

接下来创建数据表,并且插入数据。

具体可以看项目中【new_hunan_web.sql】这个文件。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

原始数据。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

也就意味着,你无需运行爬虫代码,便有数据,能立马将项目运行起来。

最后在程序里面设置下数据库的密码。

hunan_web文件夹中setting.py文件里去设置。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

设置好以后,运行服务的时候,就可以连接到数据库了。

3、项目部署-运行访问

当Python和数据库环境都搭建好时,运行【manage.py】文件

# 运行项目
python manage.py runserver

结果如下。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

使用谷歌浏览器访问网页地址:http://127.0.0.1:8000/

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

是一个登录页,点击去注册

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

输入账号密码,即可注册成功,然后去登录

登录成功,即可看到到分析页面。

Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏

4、项目部署-数据更新

如果你想更新数据库,可以运行爬虫代码。

# 更新数据
scrapy crawl qunaer

运行的时候可能会出问题,可以通过下面两种方法解决。

# ImportError: cannot import name 'SSLv3_METHOD' from 'OpenSSL.SSL'
pip3 install pyopenssl==22.0.0

# AttributeError: module 'lib' has no attribute 'OpenSSL_add_all_algorithms'
pip3 install cryptography==38.0.4

如果上面的方法也不能解决,就把scrapy库升级到最新版本。

# 升级
pip install --upgrade scrapy

总结

以上操作,就能实现可视化大屏项目的部署。

当然我们还可以写不同省份的游客行为分析系统,或者切换其它的数据来源

又或者是使用pyecharts其它类型的图表,这个大家都可以自行去学习。文章来源地址https://www.toymoban.com/news/detail-493845.html

到了这里,关于Scrapy爬取数据,使用Django+PyEcharts实现可视化大屏的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • python招聘数据爬取分析可视化系统(BOSS直聘)+Django框架(源码+文档+全套讲解视频)计算机毕业设计✅

    毕业设计:2023-2024年计算机专业毕业设计选题汇总(建议收藏) 毕业设计:2023-2024年最新最全计算机专业毕设选题推荐汇总 🍅 感兴趣的可以先收藏起来,点赞、关注不迷路,大家在毕设选题,项目以及论文编写等相关问题都可以给我留言咨询,希望帮助同学们顺利毕业 。

    2024年02月19日
    浏览(59)
  • Python 数据可视化教程 - 如何使用 pyecharts 绘制多条折线图表

    部分数据来源: ChatGPT   引言         本文主要介绍如何使用 Python 中的 pyecharts 库,绘制多条折线图表。在本例中,我们将展示各国的 COVID-19 确诊人数数据。 1、首先,我们需要导入必要的库: 其中, json  库用于解析 JSON 数据, pyecharts  库用于绘图, TitleOpts 、 Lege

    2024年02月09日
    浏览(56)
  • 利用Scrapy进行数据爬取

    目录 爬虫框架Scrapy简介 Scrapy爬取步骤 Step1:安装Scrapy Step2:新建项目 Step3:创建爬虫文件 Step4:编写爬虫代码 Step5:运行爬虫项目 Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。 Scrapy 是一个功能非常强大的爬虫框架, 它不仅可以用于便

    2024年02月10日
    浏览(30)
  • 使用Pyecharts进行全国水质TDS地图可视化全过程2:使用Power Query 进行百万行级别数据匹配

    简介:本文介绍使用Excel  Power Query进行数据匹配。利用这种方式,可以在几分钟内完成百万级别数据量的匹配。 在TDS可视化地图项目中,我们的原始数据没有TDS和具体安装地址的对应,我们需要通过机器条码去匹配安装台账的地址。 这个数据量很大,有多大?我们截取的时

    2024年02月05日
    浏览(57)
  • 用Scrapy和Selenium爬取动态数据

    文章参考千锋教育大佬的课程: https://www.bilibili.com/video/BV1QY411F7Vt?p=1vd_source=5f425e0074a7f92921f53ab87712357b ,多谢大佬的课程   因为TB网的搜索功能需要登录之后才能使用,所以我们要通过程序去控制浏览器实现登录功能,然后再获取登录之后的Cookie.   首先创建一个Chrome浏览

    2024年02月02日
    浏览(42)
  • 【爬虫】4.3 Scrapy 爬取与存储数据

    目录 1. 建立 Web 网站 2. 编写数据项目类 3. 编写爬虫程序 MySpider 4. 编写数据管道处理类 5. 设置 Scrapy 的配置文件         从一个网站爬取到数据后,往往要存储数据到数据库中,scrapy 框架有十分方便的存储方法,为了说明这个存储过程,首先建立一个简单的网站,然后写

    2024年02月09日
    浏览(47)
  • scrapy框架简单实现豆瓣评分爬取案例

    豆瓣网址:https://movie.douban.com/top250 在spiders目录下创建一个spider_one.py文件,可以随意命名,该文件主要是让我们进行数据爬取的。 运行命令: 注意末尾的域名是用来设置爬取的范围的 spider_one.py代码如下 放开useragent,配置好对应的值 关闭robots协议 放开管道限制 在items.py文

    2024年02月14日
    浏览(32)
  • Flask+echarts爬取天气预报数据并实现可视化

    右键新建一个crawl.py文件,代码如下,将爬取到的数据存储到tianqi.txt文件中, 右键新建一个flask01.py的文件,对爬取到的数据进行读取,并转换为列表类型,传递给index.html页面,echarts的图表样例负责接收并渲染,代码如下, 在根目录下,新建一个名为templates目录,该目录名

    2024年02月11日
    浏览(41)
  • Python可视化学习——使用JSON进行数据转换、pyecharts模块调用以及可视化案例的介绍(可视化案例数据暂无),柱状图及动态柱状图的构建

    可视化效果一:2020年印美日新冠累计确诊人数 2020年是新冠疫情爆发的一年,随着疫情的爆发,国内外确诊人数成了大家关心的热点,相信大家都有看过类似的疫情报告.本案例对印度美国日本三个国家确诊人数的进行了可视化处理,形成了可视化的疫情确诊人数报告.  可视

    2024年02月01日
    浏览(86)
  • 【数据可视化】通过使用网络爬虫对数据爬取并进行可视化分析

      本次项目所爬取的网页为柳州职业技术学院电子信息工程学院的超星学习通课程中心。在该网页中可以查看到电子信息工程学院历年的超星课程创建情况,还可以进入到课程界面查看相应的教学资源。   在该网页中,详细记录了课程序号、课程名称、课程链接、所属院

    2024年02月04日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包