一、实验内容
目的: 掌握使用Kettle进行数据导入与导出的方法
主要仪器设备: 计算机、Kettle(PDI)、MySQL数据库
某连锁超市为了优化经营管理,拟搭建一个商务智能系统,来帮助企业管理团队更全面、专业的通过数据了解业务况状。目前公司有一个订单数据库,记录了每一笔订单的详细数据,包括以下字段:
【字段名称,订单编号,下单日期,销售点,支付方式,发货日期,物流时限,客户编号,客户名称,客户类型,客户城市,客户省份,客户地区,产品编号,产品名称,产品分类,产品细类,金额,数量,折扣,利润,推销员,是否退货,财政年度】
然而,各部门对数据的关注点不同,且各部门使用数据分析工具对数据的格式要求也不一样。因此,公司委托你开发一个数据转换系统,将订单数据库中的数据按照不同部门的需求进行转换和输出。各部门具体需求如下:
部门名称 | 销售部门 | 物流部门 | 客户关系部门 | 仓储部门 | 售后部门 |
---|---|---|---|---|---|
输出字段 | 订单编号;销售点;支付方式;金额;数量;折扣;利润;推销员 | 订单编号;下单日期;发货日期;物流时限 | 订单编号;客户编号;客户名称;客户类型;客户城市;客户省份;客户地区 | 订单编号;产品编号;产品名称;产品分类;产品细类 | 订单编号;产品编号;客户编号;是否退货;金额 |
数据格式 | .xlsx文件 | .json文件 | .csv文件 | .xml文件 | 数据库表 |
命名规则 | 文件名:姓名拼音 | 文件名:姓名拼音 | 文件名:姓名拼音 | 文件名:姓名拼音 | 数据库表名:return |
输出路径 | 输出文件路径为转换文件的当前目录 | ||||
特殊要求 | 工作表名: 中文姓名 | 所有数据放到1个文件中 | 以逗号作为分隔符 | 以’订单编号’作为节点属性,其它字段作为节点内容 | 只导出[是否退货=1]的数据数据库表自行创建 |
任务一:搭建KETTLE项目开发环境
(1)在MySQL中创建kettledb数据库和orders表结构及数据
(2)在KTR中创建kettledb数据库连接, 数据库连接参数使用变量(命名参数)
任务二:销售数据导入和导出
(1)需提供转换步骤设计全图
(2)需提供主要转换步骤的关键配置项截图
(3)需提供新建数据库表的SQL语句或操作界面截图
(4)需提供转换执行结果截图
需提供输出的文件/数据库表内容的截图
二、任务一解答
1. 在MySQL中创建kettledb数据库和orders表结构及数据
利用Navicat连接数据库:
订单sql语句:见百度网盘:链接:[https://pan.baidu.com/s/1NbiWzWdm0EfCHBsLn3ucFA]
提取码:12ws
2. 在KETTLE SPOON中创建转换工程(KTR), 转换名称为个人姓名
利用spoon软件进行创建数据库连接:
任务二解答
1.转换设计全图
2. 销售数据表
表输入部分:
输入sql筛选语句:
表输出部分:
输出结果:
3. 物流部门数据表
表输入部分:
表输出部分:
输出结果:
4. 客户关系部门数据表
表输入部分:
表输出部分:
内容字段部分:
输出结果:
5. 仓储部门数据表
表输入部分:
表输出部分:
内容字段部分:
输出结果:
6. 售后部门数据表
退货表return表在navicat创建:
CREATE TABLE returnb (
`订单编号` char(14) ,
`客户编号` varchar(20) ,
`产品编号` char(14) ,
`金额` float ,
`是否退货` tinyint(1)
);
退货表数据加载:
输入部分:
输出部分:
输出结果:文章来源:https://www.toymoban.com/news/detail-739008.html
输出文件如下:
文章来源地址https://www.toymoban.com/news/detail-739008.html
到了这里,关于数据导入与预处理——实验一:数据导入与导出的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!