跟姥爷深度学习1 浅用tensorflow做个天气预测

这篇具有很好参考价值的文章主要介绍了跟姥爷深度学习1 浅用tensorflow做个天气预测。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

(说明下,本篇的源码有点问题导致预测的温度有问题,请继续往后面的章节看,有原因和解决办法)

一、前言

最近人工智能、深度学习又火了,我感觉还是有必要研究一下。三年前浅学了一下原理没深入研究框架,三年后感觉各种框架都成熟了,现成的教程也丰富了,所以我继续边学边写。原教程链接:

第一章:tensorflow安装与简介课程简介_哔哩哔哩_bilibili

所以准备出个系列的教程,给不耐烦看视频或者只是想浅了解一下的同学。我选的框架tensorflow,据说GPT也是用的这个,应该是比较大众化的了。

二、前序准备

1.开发环境

(1)Python3.8

(2)Anaconda3

(3)Tensorflow

(4)Numpy

(5)Pandas

(6)Sklearn

先依次安装好上面的软件和包,其中python3.8和Anaconda3是直接下载安装,如果官方链接比较慢,可以搜下三方的源安装。其中Anaconda3不是必须的,用这个工具是因为确实挺香的。

剩下的3-6都是pip安装的包,注意使用Anaconda3的话就在Anaconda Prompt里使用pip命令,如果是其他集成环境或者原生的python环境,直接就在cmd里使用pip安装。

跟姥爷深度学习1 浅用tensorflow做个天气预测

pip安装时可能会遇到下载特别慢的情况,建议使用国内源,方法参考下面链接:

pip install安装python第三方库失败,该怎么办?

实际安装过程可能会比较曲折,需要大家慢慢研究了,一般来说多搜索下都能解决问题。比如安装Sklearn不是pip install sklearn(虽然也能安装上另外一个不相干的包),实际应该用:

pip install scikit-learn

类似的坑多的很,一时半会也列不完,反正也是花了一个晚上才算是把开发环境给搞定。

2.数据准备

这次我们是要做天气预测,那自然是要弄到历史的天气数据。有三个路径,一是购买打包好的大数据,看了下便宜的都要好几千。二是网上爬数据,参考下面的链接:

上海1月份天气|上海1月份气温|上海2011年1月份历史天气—全球天气网

这个网站从2011年1月到最新的天气数据都有,可以自己爬下来,推荐使用“八爪鱼”,还是挺好用。

第三个路径就是做伸手党,正好我手上有上海的数据,链接在文章末尾。

我手上的这份数据分为“训练集”和“验证集”两个文件,直观来看训练集就是用于模型训练,验证集就是使用训练好的模型来预测试试,数据的格式一样,在使用时需要裁剪一下。

跟姥爷深度学习1 浅用tensorflow做个天气预测

各字段的意思看名字就知道了,其中avg指的是当日平均温度,avg_befor1指的是昨天的平均温度,avg_befor2前天的,依次类推,一共回溯7天的。这个模型也就是用前7天的平均气温来预测当天的平均温度。

三、构建模型

1.读入待训练的数据

(完整代码跟前面天气数据放一起了)

跟姥爷深度学习1 浅用tensorflow做个天气预测

从上图,我们可以看到读入了4429行数据,每行有13列,这样的数据不能直接使用,需要裁剪一下。

2.数据裁剪

跟姥爷深度学习1 浅用tensorflow做个天气预测
跟姥爷深度学习1 浅用tensorflow做个天气预测

这里我们做了3个操作。

1)是将前7行有null的数据删除

2)是将avg这一列单独存起来了,用于后面的模型训练。

3)将high、low、avg三列从数据集中删除,因为我们是使用“历史数据”来预测当日的平均温度,这三列都属于当日数据所以要删除。

3.数据预处理

跟姥爷深度学习1 浅用tensorflow做个天气预测

这里做了2个操作。

1)将数据集转化为array的形式,这样TensorFlow才能处理(自动去掉了title的内容)

2)将数据做归一化,主要是为了方便后面的模型训练,简单来说就是将15、20、30这些数字转化为-1到1之间的数字,可以参考下面这个链接。

https://blog.csdn.net/qq_51392112/article/details/129091683

4.构建模型

跟姥爷深度学习1 浅用tensorflow做个天气预测

这里我们构建了一个16>32>1的神经网络模型,其中16、32、1指的是每一层的神经元数量,第一层与第二层的神经元数量无所谓可以随便写,第三层的1与预测的结果相对应,也就是我们使用前7天的平均温度,预测的是今天这“一个”平均温度。如果你预测的是当天最高温和最低温,就需要将第三层的1修改为2了。这里因为我们只预测1个结果(当天的平均温度),所以输出只需要1个。

其中model.compile是对神经网络进行配置,主要参数含义如下:

跟姥爷深度学习1 浅用tensorflow做个天气预测
跟姥爷深度学习1 浅用tensorflow做个天气预测

解释起来比较复杂,这里我们只管先用着,反正就是一些可以选择的参数,对模型的训练可能有很大影响,也可能没啥影响,一些资深人事主要工作就是调调这里改改哪里。

如果想改改参数看看效果,可以参考下面的链接:

https://blog.csdn.net/chaojishuai123/article/details/114580892

5.训练

跟姥爷深度学习1 浅用tensorflow做个天气预测

model.fit里也有好几个参数,详细如下:

1)Input_features,输入的训练数据集

2)labels_avg,前面我们将avg列单独保存了起来就是为了用在这里

3)Validation_split=0.1,将其中的10%数据用于模型验证,剩下的90%用于模型训练

4)Epochs,迭代次数,也就是这些数据会被用于模型训练多少次

5)batch_size,每一次训练使用的数据量

除了features、labels,其他三个参数大家可以随意调调看对结果的影响。

上面截图中,注意有loss和val_loss两个结果,其中loss是模型训练后的“损失”,你可以理解loss越小则模型对你输入的数据匹配度越高(越契合你的训练数据)。Val_loss是模型验证的“损失”,也就是前面我们设置的那10%,这个值越小说明你的模型验证的结果也不错。

但Loss也不是越小越好,太小说明模型对你输入的数据产生了过拟合,可能结果是训练数据很不错但使用起来就很差。所以我们追求的其实是loss和val_loss的综合解,即在loss较低的情况下,val_loss也不太高。

6.输入待预测的数据

跟姥爷深度学习1 浅用tensorflow做个天气预测

这里的操作与前面训练集其实很像,都是将数据读入后进行裁剪,同时将avg列另外存起来。最后将裁剪后的数据进行预处理。

7.预测

model1就是我们构建并训练好的模型了,现在我们可以使用前面准备好的训练集了。

跟姥爷深度学习1 浅用tensorflow做个天气预测

下面我们再看看实际温度,只能说是毫无关系,所以天气预报为什么不准呢对吧,说明根本就无法预测。不死心的同学可以试试自己修改下参数。

跟姥爷深度学习1 浅用tensorflow做个天气预测

四、回顾

这是一次不太成功的示范,实际上我花了不少时间试图从最高温、最低温、平均温度、历史温度等找到温度变化的规律,但真的是没弄成。说明在深度学习中找对目标和数据集很重要啊。数据集和完整代码见下面的链接:

文件分享文章来源地址https://www.toymoban.com/news/detail-415191.html

到了这里,关于跟姥爷深度学习1 浅用tensorflow做个天气预测的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI:129-基于深度学习的极端天气事件预警

    🚀点击这里跳转到本专栏,可查阅专栏顶置最新的指南宝典~ 🎉🎊🎉 你的技术旅程将在这里启航! 从基础到实践,深入学习。无论你是初学者还是经验丰富的老手,对于本专栏案例和项目实践都有参考学习意义。 ✨✨✨ 每一个案例都附带有在本地跑过的关键代码,详细讲

    2024年02月20日
    浏览(34)
  • 【深度学习笔记】TensorFlow 基础

    在 TensorFlow 2.0 及之后的版本中,默认采用 Eager Execution 的方式,不再使用 1.0 版本的 Session 创建会话。Eager Execution 使用更自然地方式组织代码,无需构建计算图,可以立即进行数学计算,简化了代码调试的过程。本文主要介绍 TensorFlow 的基本用法,通过构建一个简单损失函数

    2024年02月13日
    浏览(38)
  • 深度学习TensorFlow

      博主简介 博主是一名大二学生,主攻人工智能研究。感谢让我们在CSDN相遇,博主致力于在这里分享关于人工智能,c++,Python,爬虫等方面知识的分享。 如果有需要的小伙伴可以关注博主,博主会继续更新的,如果有错误之处,大家可以指正。 专栏简介:   本专栏主要研

    2023年04月08日
    浏览(38)
  • 【深度学习_TensorFlow】梯度下降

    一直不太理解梯度下降算法是什么意思,今天我们就解开它神秘的面纱 如果要求出一条直线,我们只需知道直线上的两个不重合的点,就可以通过解方程组来求出直线 但是,如果我们选取的这两个点不在直线上,而是存在误差(暂且称作观测误差),这样求出的直线就会和

    2024年02月14日
    浏览(37)
  • 【深度学习_TensorFlow】激活函数

    上篇文章我们了解到感知机使用的阶跃函数和符号函数,它们都是非连续,导数为0的函数: 建议回顾上篇文章,本篇文章将介绍神经网络中的常见激活函数,这些函数都是平滑可导的,适合于梯度下降算法。 激活函数是做什么的? 激活函数(Activation Function)是神经网络中

    2024年02月13日
    浏览(40)
  • 【深度学习_TensorFlow】误差函数

    搭建完网络层后,在每层网络中都要进行前向计算,下一步就是选择合适的误差函数来计算误差。其中均方差函数和交叉熵函数在深度学习中比较常见,均方差函数主要用于回归问题,交叉熵函数主要用于分类问题。 ( 1 )简单介绍 均方差函数(简称 MSE)把输出向量和真实向

    2024年02月14日
    浏览(583)
  • 【深度学习_TensorFlow】过拟合

    过拟合与欠拟合 欠拟合: 是指在模型学习能力较弱,而数据复杂度较高的情况下,模型无法学习到数据集中的“一般规律”,因而导致泛化能力弱。此时,算法在训练集上表现一般,但在测试集上表现较差,泛化性能不佳。 过拟合: 是指模型在训练数据上表现很好,但在测

    2024年02月10日
    浏览(43)
  • 深度神经网络基础——深度学习神经网络基础 & Tensorflow在深度学习的应用

    Tensorflow入门(1)——深度学习框架Tesnsflow入门 环境配置 认识Tensorflow 深度学习框架Tesnsflow 线程+队列+IO操作 文件读取案例 神经网络的种类: 基础神经网络:单层感知器,线性神经网络,BP神经网络,Hopfield神经网络等 进阶神经网络:玻尔兹曼机,受限玻尔兹曼机,递归神经

    2024年02月16日
    浏览(44)
  • 17- TensorFlow中使用Keras创建模型 (TensorFlow系列) (深度学习)

    知识要点 Keras 是一个用 Python 编写的高级神经网络 API 数据的开方:  np.sqrt(784)       # 28 代码运行调整到 CPU 或者 GPU: 模型显示: model.summary () 创建模型: 模型创建: model = Sequential () 添加卷积层: model.add (Dense(32, activation=\\\'relu\\\', input_dim=100))  # 第一层需要 input_dim 添加dropout: mod

    2024年02月01日
    浏览(87)
  • 【深度学习_TensorFlow】索引与切片

    这是一篇关于 TensorFlow基础索引与切片的操作,包括逗号索引,冒号索引,gather()函数, boolean_mask( )函数,作为初学者,文章难免有错误之处,还请不吝指正! ( 1 )基础索引:变量[ ][ ] 简单介绍 可以理解成多维数组的下标索引,索引方法是 变量名[ 下标 ][ 下标 ] 创建下面一

    2024年02月10日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包