BDA初级分析——SQL清洗和整理数据

这篇具有很好参考价值的文章主要介绍了BDA初级分析——SQL清洗和整理数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、数据处理

数据处理之类型转换

字符格式与数值格式存储的数据,同样是进行大小排序, 会有什么区别?

以rev为例,看看字符格式与数值格式存储时,排序会有什么区别?

用cast as转换为字符后进行排序

SELECT CAST(rev AS char(10))AS rev_test 

FROM orders 

ORDER BY rev_test DESC;

99.1>982.1?

字符串比较大小是逐位来比较的

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 CAST AS

Cast as 按...分组

作用:对字段格式进行转换

写法:cast(字段名 as 目标数据类型)

常见的格式转换:

转换为日期:Cast(字段 as date)

转换为整数:Cast(字段 as signed)

SUBSTRING

substring 截取子串

作用:提取长串字符中的部分关键词

写法:SUBSTRING(string,start_position,length)

string:要取的目标字段,可以是某个字段,也可以是一个指定的字符

start_position:起始位置

Length:要取的长度

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

ROUND

round

作用:对数据保留特定的小数点后位数

写法:round(number,n)

number:数据

n:小数点后位数,不提供n时默认为0,即对数据取整

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

二、对现有表的更改

INSERT INTO

insert into 插入

作用:在现有表中插入新的记录

写法:INSERT INTO 表名(column1,column2,...)VALUES(value1,value2,...)

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 怎么把一条漏掉的数据更新到表里?

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 INSERT INTO product(category,sku,cat_name,sku_name)

VALUES('2','23','家具','电视柜');

DELETE

delete 删除

作用:删除数据表中的记录

写法:DELETE FROM table_name WHERE condition;

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 UPDATE

update 更新

作用:直接更新表内字段值

写法:UPDATE table_name SET 字段名=“更新后的内容” WHERE condition;

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 UPDATE、INSERT INTO、DELETE的执行不可逆

三、创建新的变量和数据表

CASE WHEN

case when

作用:根据是否满足语句中的判断条件,选择不同的取值,对数据进行重新分类整理和命名

写法:CASE WHEN 条件1 THEN 取值1

                     WHEN 条件2 THEN 取值2

           ........

          ELSE 取值n

          END

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 CREATE TABLE … AS

create table ... as

作用:创建新的表

写法:create table 表名称 as 所需要的表信息

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 课后小结

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

随堂练习

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 正确
解析:
cast as的作用是对数据类型做转换

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: B 
解析:
UPDATE是更新现有数据,CREATETABLE是创建新的表,CASE WHEN是对现有数据分组形成新的字段

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误 
解析:
我们在这里将units格式转换后的结果命名为了units new,因此这里ORDERBY的依据应该是units new而不是units

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: ACD
解析:
ROUND可以取小数点后位数,0即为整数,为0时可以省略不写; SIGNED 表示有符号的整数(这里的符号是指正负号) ,CAST(值 AS SIGNED)也可以实现取整

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误 
解析:在SQL对表格的修改是不可逆的UPDATE,DELETE,INSERT INTO一旦执行后是无法撤销的

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误 
解析:
日期格式可以改写为date,即cast(日期as date)

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误
解析:
column2这里,字段名不需column1、要加引号

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误 
解析:
UPDATE的语何是UPDATE 表名 SET字段=某个值 WHERE 条件,这里漏掉了SET

BDA初级分析——SQL清洗和整理数据,BDA初级分析,sql,数据库,bda,SQL清洗与整理

 正确答案: 错误 
解析:
SUBSTRING的功能是提取长串字符中的部分关键词,SUBSTRING ( string,start position , length )中start position即代表起始位置文章来源地址https://www.toymoban.com/news/detail-659685.html

到了这里,关于BDA初级分析——SQL清洗和整理数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 开源数据库 OpenGauss 的 SQL 解析源码分析

    openGauss 是关系型数据库,采用客户端/服务器,单进程多线程架构;支持单机和一主多备部署方式,同时支持备机可读、双机高可用等特性。 从代码结构体系结构的角度来说,oepnGauss 的第一个组成部分是通信管理。 openGauss 查询响应是使用“单个用户对应一个服务器线程”的

    2024年03月17日
    浏览(53)
  • 【SQL Server】数据库开发指南(三)面向数据分析的 T-SQL 编程技巧与实践

    本系列博文还在更新中,收录在专栏:#MS-SQL Server 专栏中。 本系列文章列表如下: 【SQL Server】 Linux 运维下对 SQL Server 进行安装、升级、回滚、卸载操作 【SQL Server】数据库开发指南(一)数据库设计的核心概念和基本步骤 【SQL Server】数据库开发指南(二)MSSQL数据库开发对

    2023年04月12日
    浏览(109)
  • Python 数据采集、清洗、整理、分析以及可视化实战

    大概可以分为下面这几个步骤: 数据采集; 原始数据完整性检查; 数据清洗、整理; 从不同角度对数据进行分析; 数据可视化; 总结; 主要使用 Python 来进行分析: 数据采集: 主要涉及的 python 库包括 requests,BeautifulSoup,csv,以及一些其他常用工具。 数据完整性检查: 包

    2024年02月09日
    浏览(56)
  • 数据库监控与调优【六】—— SQL性能分析

    TIPS 本文基于MySQL 8.0 EXPLAIN分析SQL它不香吗?如何更加细致分析SQL的性能呢?深入SQL内部分析性能! SHOW PROFILE:简单、方便,已废弃 INFORMATION_SCHEMA.PROFILING:和SHOW PROFILE本质是一样的,已废弃 PERFORMANCE_SCHEMA:MYSQL建议的方式,未来之光,但目前来说使用不够方便 先要做一定的

    2024年02月11日
    浏览(59)
  • 【数据库】sql优化有哪些?从query层面和数据库层面分析

    这类型问题可以称为:Query Optimization,从清华AI4DB的paper list中,该类问题大致可以分为: Query Rewriter Cardinality Estimation Cost Estimation Plan Optimization 从中文的角度理解那就是: 查询重写 基数估计 成本估计 执行计划优化 可以发现,这类型的优化问题,大多数从sql本身,或者说从

    2024年01月17日
    浏览(54)
  • 【MySQL数据库 | 第十九篇】SQL性能分析工具

    目录   前言: SQL执行频率: 慢查询日志: profile: profile各个指令: 总结:         本篇我们将为大家讲解SQL性能的分析工具,而只有熟练的掌握了性能分析的工具,才可以更好的对SQL语句进行优化。虽然我们在自己练习的时候对这种优化感知并不明显,但是如果我们要

    2024年02月09日
    浏览(64)
  • flink-sql对kafka数据进行清洗过滤

    今天这篇blog主要记录使用flink-sql对kafka中的数据进行过滤。 以前对kafka数据进行实时处理时都是使用java来进行flink开发,需要创建一个工程,并且打成jar包再提交,流程固定但对于简单任务来说还是比较繁琐的。 今天我们要对logstash采集到kafka中的数据进行过滤筛选,将筛选

    2024年02月16日
    浏览(40)
  • MySQL数据库进阶第二篇(索引,SQL性能分析,使用规则)

    本篇博客深入详细地介绍了数据库索引的概念和重要性。内容包含:索引的概念和目标、索引的优点与缺点。此外,博客还深入解析了三种主要的索引结构:B-Tree、B+Tree和Hash,提供了详细的结构解析和优化方法,并通过插图进一步增强了理解。 博客的部分内容专注于对B-Tr

    2024年02月21日
    浏览(64)
  • 好文分享 | 记一次Oracle12c数据库SQL短暂缓慢问题分析

    本文为墨天轮社区作者 张sir 原创作品,记录了日常运维Oracle数据库过程中遇到的一个慢SQL问题的解决、优化过程,文章内容全面具体、分析到位,且含有经验总结,分享给各位。 这次出问题的数据库比较特殊,承接的系统交易要求很高,SQL基本都是短平快,响应时间基本不

    2024年02月05日
    浏览(57)
  • SQL性能分析-整理

    昨日对MySQL的索引整理了一份小文档,对结构/分类/语法等做了一个小总结,具体文章可点击:MySQL-索引回顾,索引知识固然很重要,但引入运用到实际工作中更重要。 参考之前的文章:SQL优化总结以及参考百度/CSDN/尚硅谷/黑马程序员/阿里云开发者社区,我个人把SQL性能分析

    2024年01月23日
    浏览(53)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包