使用飞桨实现的第一个AI项目——波士顿的房价预测

这篇具有很好参考价值的文章主要介绍了使用飞桨实现的第一个AI项目——波士顿的房价预测。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

part1.首先引入相应的函数库:

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

值得说明的地方:

(1)首先,numpy是一个python库,主要用于提供线性代数中的矩阵或者多维数组的运算函数,利用import numpy as np引入numpy,并将np作为它的别名

part2.(一步步慢慢来,从0到1,只要突破了,就会有1到100的发生,所以,慢慢来)下面我们一点点分析“数据处理”部分的代码:

(1)

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

这里,就是python中用得最多的函数模块定义,反正下面就是定义了一个load_data()函数

 (2)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

首先,定义一个路径变量(可能是string类型,反正python中变量没有类型),这个路径从这个平台页面的左上角可以查看到./work/house.data里面就是我们需要用到的空气中各个指标的数据

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

关于这个numpy.fromfile函数的用法和参数说明:

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

我觉得,这里sep用' '一个空格作为参数,就是用作分隔符的作用

 (3)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

首先,创建一个names名称字符串数组feature_names,这个数组一共有14个值,前13个值是空气中的各个指标成分,最后一个是房屋价格的中位数

然后,调用len(数组)这个函数取出这个数组的长度14给到变量feature_num

(4)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 差点就以为“//”是注释的意思了,

这样的话就好理解了,就是总共有data.shape[0]个数据,除以feature_num得到行,feature_num作为列数,

所以,这一条语句之后,data就变成了一个[N,14]的二维数组了

(5)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 这一部分很容易理解:就是比如说data这个二维数组一共有N行,我们取出前0.8N行构建一个新的二维数组training_data最为训练集数据

(6)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 首先,需要了解numpy.max函数中axis参数的含义,axis=0代表取每一列中的最大值,这里的含义就是,总共14个指标,每个指标代表1列,所以就按列分别取出14个列的最大值作为一个大小为14的一维数组,然后给到那个一维数组变量maximums,

同理,minimums也得到一个这样的一维数组,

avgs也是同样,只不过是每一列求和除以行数的平均值

(7)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 关于python中的global变量的说明:使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 (8)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 关于“归一化处理”我的理解就是,相对于“某个值”的占比,反正就是为了消除单位的影响使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 上面这个代码:就是将data这个数组,for循环是依次按列从列1到列14进行处理,

每个循环就是将1-N所有的行的第i列数据进行归一化处理

(9)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 这样看的话,整个def load_data()函数就非常清楚了,

最后就是将“规格化(规格化做的工作就是[N,14]这样)”和“归一化”处理后的二维数组data[N,14]再次分割为前80%作为training_data这个二维数组,后20%最为test_data这个二维数组

(之前有一个代码我觉得是多余的使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能就是这个,因为最后由定义了一次)

part3:模型设计部分

(1)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 用法示例:

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能这里是定义模型的初始化函数,利用super函数继承了父类的的初始化方法,然后定义了一个fc全连接层,里面没有使用激活函数

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 注意,这里的父类就是那个fluid.dygraph.Layer这个类

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 关于这个forward函数,就我目前看来,主要是用来组合_init_中定义的全连接层,最终返回一个结果,比如这里就是调用了_init定义的fc全连接层,输入inputs参数,返回一个x结果使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

part4:训练的配置阶段

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

其实这里主要做的,就是:

(1)声明之前定义的Regreesor类的实例model,然后开启model的训练模式

(2)调用之前定义好的load_data()函数,将所有的数据加载到train_data和test_data中

(3)最后设置fluid库中的optimizer模块中的SGD模板函数的参数0.01,model中的各个参数,

设置好参数的模板函数得到实例函数opt留到之后使用

part5:模型训练过程

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 (1)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

这里就是说明了使用的资源是CPU,然后设置epoch的次数和batch的大小

(2)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 

外层循环干的事:首先将这一轮所有的训练数据shuffle打乱,然后,将training_data中的每10条数据作为一个batch,所有的batch放到min_batches这个数组中,这个数组的元素就是单个batch,而单个batch其实是10*14的二维数组

(3)

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

这里面的就是内层循环的主要训练代码了, 

 首先是house_features里面就是10*13的变量,prices就是10*1的值

然后,调用model函数,传参house_features得到10*1的predicts

之后,计算predicts和prices之间的loss,并且计算这10个数据的mean平均avg_loss

最后,也是比较迷惑的:

 这里有关于backward()函数的说明,就我看来就是根据loss数据对模型的那些还不确定的参数进行更新使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 我真的很想将backward()函数和minimize函数当作同一个作用的东西,反正,就是李宏毅在线性模型的的w' = w - η*(dL/dw)这个东西, 

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 至于为什么需要清楚梯度,不是很理解。。。

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 (4)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 每一个epoch最后,都要进行模型的保存,虽然也不是很理解

part6:将模型保存到文件中

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

part7:模型测试

(1)定义一个加载需要test的那一条数据的函数 load_one_example(data_dir),data_dir就是文件的路径,实现功能就是从data的所有数据中选出倒数第10条,13个变量给到data变量,真实结果作为label给到label变量,它们都是“归一化”之后的结果,可以直接用

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 (2)使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

首先,是获取保存在文件中的模型,并且启动eval模式

然后,加载需要测试的test_data,并且传递给model模型,并得到预测的结果results

最后,输出results(“反归一化之后”) 和 真实label 

part8:通过参数的调整,得到不同的结果:

1.学习率的调整;

(1)学习率0.05使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

 (2)学习率0.01使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能

(3)学习率0.10

使用飞桨实现的第一个AI项目——波士顿的房价预测,人工智能,paddlepaddle,人工智能 2.还可以调整batch大小,训练集的比例等等,自己去尝试一下吧! 文章来源地址https://www.toymoban.com/news/detail-675344.html

到了这里,关于使用飞桨实现的第一个AI项目——波士顿的房价预测的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 飞桨中的李宏毅课程中的第一个项目——PM2.5的预测

    所谓的激活函数,就是李宏毅老师讲到的sigmoid函数 和 hard sigmoid函数 ,ReLU函数那些 现在一点点慢慢探索,会成为日后想都做不到的经历,当你啥也不会的时候,才是慢慢享受探索的过程。 有一说一,用chatGPT分解代码是真的香! part1:初始文件处理 补充关于Shell命令的相关知

    2024年02月11日
    浏览(34)
  • 【机器学习】P25 随机森林算法(2) 实现 “波士顿房价” 预测

    随机森林(Random Forest)算法 是一种 集成学习(Ensemble Learning)方法,它由多个决策树组成,是一种分类、回归和特征选择的机器学习算法。 在随机森林中,每个决策树都是独立地训练的,每棵树的建立都是基于随机选取的 特征子集 和随机选取的 训练样本集 。 在分类问题

    2024年02月01日
    浏览(50)
  • 多元线性回归的python代码实现(基于sklearn的波士顿房价boston数据集为例)

    基于sklearn自带数据集波士顿房价数据集进行多元线性回归算法代码实现,其数据集包括13个特征向量,共计506个样本集。 本文代码实现步骤如下: 1. 获取数据集 2. 数据集切分,老规矩,80%训练,20%测试 3. 数据预处理(本用例尝试过归一化处理,但发现效果不好,不是每一个

    2024年02月06日
    浏览(46)
  • 机器学习---使用 TensorFlow 构建神经网络模型预测波士顿房价和鸢尾花数据集分类

    1. 预测波士顿房价 1.1 导包 最后一行设置了TensorFlow日志的详细程度: tf.logging.DEBUG :最详细的日志级别,用于记录调试信息。 tf.logging.INFO :用于记录一般的信息性消息,比如训练过程中的指标和进度。 tf.logging.WARN :用于记录警告消息,表示可能存在潜在问题,但不会导致

    2024年02月08日
    浏览(44)
  • 机器学习之利用线性回归预测波士顿房价和可视化分析影响房价因素实战(python实现 附源码 超详细)

    数据集和源码请点赞关注收藏后评论区留下QQ邮箱或者私信 线性回归是利用最小二乘函数对一个或多个因变量之间关系进行建模的一种回归分析,这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个变量的称为一元回归,大于一个变量的情况叫做多元回归。

    2024年01月21日
    浏览(45)
  • 【数据分析】波士顿矩阵

    波士顿矩阵是一种用于分析市场定位和企业发展战略的管理工具。由美国波士顿咨询集团(Boston Consulting Group)于1970年提出,并以该集团命名。 波士顿矩阵主要基于产品生命周期和市场份额两个维度,将企业的产品或业务分为四个象限:明星(Stars)、问题儿童(Question Mar

    2024年02月11日
    浏览(35)
  • python 波士顿房价预测

    数据集地址:Index of /ml/machine-learning-databases/housing (uci.edu) 数据集中共有506条样本数据,每条样本包含了13个影响房价的特征。 数据集格式 np.fromfile()  读取数据没有数据类型和数据的形状。所以这里使用了data.reshape()重新变换成原始的形状。 (7084,) (506, 14) (14,) [6.320e-03 1.800e+

    2023年04月08日
    浏览(38)
  • 波士顿矩阵(明星,金牛,问题,搜狗)

    波士顿矩阵(明星,金牛,问题,搜狗) 1、百度百科链接: https://baike.baidu.com/item/%E6%B3%A2%E5%A3%AB%E9%A1%BF%E7%9F%A9%E9%98%B5/5406040?fr=aladdin 2、从【产品】的维度去分析波士顿矩阵: https://zhidao.baidu.com/question/142432618995983965.html     2.1、明星产品(stars)。【高增长,高占有】      

    2024年02月05日
    浏览(30)
  • 基于回归分析的波士顿房价分析

    项目实现步骤: 1.项目结构 2.处理数据 3.处理绘图 4.对数据进行分析 5.结果展示 一.项目结构 二.处理数据 使用sklearn的datasets时,对应的波士顿房价数据已经被“移除”,在获取数据时,会出现 ,此时,在该提示的下方会有相关的解决方法 不建议使用提供的方法,对应方法的

    2024年02月09日
    浏览(36)
  • 波士顿房价数据集怎么不见了?

     做线性回归的同学大概率会用到一个数据集,即波士顿房价数据集,然而当你从sklearn下载该数据集时,你会惊讶地发现居然下载不了了!!!起初我以为是什么别的原因导致数据集可能被收回了,结果当我看到一篇文章就感觉,算了不做评价,参见这篇文章 消失的波士顿

    2024年02月05日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包