AWS Athena SQL基础知识

这篇具有很好参考价值的文章主要介绍了AWS Athena SQL基础知识。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、Athena SQL 基础学习🍜


1 获取一年的第几周
select Extract(week from date'2022-12-11') as week_number
Extract(week(Sunday) from date) as week_number
2 Int to Date
select date_parse(concat(substr(cast(20221214 as varchar), 1, 4),'-',substr(cast(20221121 as varchar), 5, 2),'-',substr(cast(20221121 as varchar), 7, 2)),'%Y-%m-%d')
3 根据日期得出周几
SELECT format_datetime(day, 'EEEE')
FROM (
  VALUES DATE '2022-12-14'
) t(day)
4 weekofyear()✨dayofweek
weekofyear:周一到周日
dayofweek :周日到周六 17
5 创建临时数据,遍历数组
WITH
dataset AS (
  SELECT ARRAY
  [
    ARRAY[1,2,3,4],
    ARRAY[5,6,7,8],
    ARRAY[9,0]
  ] AS items
),
item AS (
  SELECT i AS array_items
  FROM dataset, UNNEST(items) AS t(i)
)
SELECT array_items, reduce(array_items, 0 , (s, x) -> s + x, s -> s) AS total
FROM item;

6 url解析
url_extract_parameter(url,'utm_source')='Event'
7 Athena表元数据信息修复
MSCK REPAIR TABLE traffic.hive_traffic_detail
8 Athena中对跨年周进行处理
select date_format(date '2023-01-01', '%x-%v')
9 Athena解析URL函数url_extract_parameter
select user_id,time,device_id,url,
       url_extract_parameter(url,'utm_source') utm_source,
10 QS获取近两个月数据
select * from default.hive_lkb_lock_stock_report where dt >= date_format(date_add('Month',-2,current_timestamp),'%Y%m%d')
11 Athena转义字符:’

三、Spark调优

选择以下解决方案之一:

选项 1.禁用广播加入。
设置 spark.conf.set("spark.sql.autoBroadcastJoinThreshold", -1)

此选项禁用广播加入。

选项 2.增加广播超时。
将 Spark.sql.broadcastTimeout 增加到 300 以上的值。例如,设置 spark.sql.broadcastTimeout=2000。

不太推荐此选项。如果要保留广播加入,请使用此选项。

选项 3.再次尝试失败的应用程序。
设置 spark.yarn.maxAppTrys=2。

最不推荐此选项。设置上述属性时,Spark 会尝试再次运行任何失败的应用程序,包括不使用广播联接的应用程序。此更改会导致较高的总体运行时间。

1 表JOIN
  • 使用join事,on条件尽可能避免使用or这种条件关联,效率极慢,可以通过先单独join再union的方式拼接的方式要快很多~

持续更新中…文章来源地址https://www.toymoban.com/news/detail-733028.html

到了这里,关于AWS Athena SQL基础知识的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【新星计划2023】SQL SERVER (01) -- 基础知识

    1.1 Official Website 官方文档(小技巧) Officail Website: https://learn.microsoft.com/en-us/sql/sql-server/?view=sql-server-ver16. Officail Website(中文): https://learn.microsoft.com/zh-cn/sql/sql-server/?view=sql-server-ver16. 1.2 Conn Tool 官方自带的 SQL Server Management Studio (SSMS) SSMS Install: https://learn.microsoft.com/en-us/sql/ssm

    2024年02月04日
    浏览(36)
  • SQL Server数据库基础知识汇总

    目录 目录 一、数据库概念 1.1 什么是数据库 1.2 为什么用数据库 1.3 数据库的发展历史 1.4 数据库分类 1.5 DBMS数据库管理系统 二、 SQL(Structured Query Language) 2.1  定义 2.2  SQL分类 2.3 SQL与T-SQL 三、SqlServer下载与安装 四、数据库表各类操作 1 创建数据库登录用户 2 使用DCL赋予数据

    2023年04月09日
    浏览(53)
  • MySql003——SQL(结构化查询语言)基础知识

    DB:数据库(Database) 即存储数据的“仓库”,其本质是一个 文件系统 。它保存了一系列有组织的数据。 DBMS:数据库管理系统(Database Management System) 是一种操纵和管理数据库的 大型软件 (例如我们前面下载的MySQL软件),用于建立、使用和维护数据库,对数据库进行统一

    2024年02月15日
    浏览(44)
  • MySQL 基础知识(一)之数据库和 SQL 概述

    目录 1 数据库相关概念 2 数据库的结构 ​3 SQL 概要 4 SQL 的基本书写规则 1 数据库相关概念 数据库是将大量的数据保存起来,通过计算机加工而成的可以进行高效访问的数据集合 数据库管理系统(DBMS)是用来管理数据库的计算机系统,通过使用 DBMS,多个用户可以安全、简单

    2024年02月20日
    浏览(47)
  • Hive基础知识(十五):Hive中SQL排序方式全解

    Order By:全局排序,只有一个 Reducer 1)使用 ORDER BY 子句排序 ASC(ascend): 升序(默认) DESC(descend): 降序 2)ORDER BY 子句在 SELECT 语句的结尾 3)案例实操 (1)查询员工信息按工资升序排列 (2)查询员工信息按工资降序排列 按照员工薪水的2 倍排序 按照部门和工资升序排

    2024年01月19日
    浏览(51)
  • Hive基础知识(十六):Hive-SQL分区表使用与优化

    分区表实际上就是对应一个 HDFS 文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。 Hive 中的分区就是分目录 ,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过 WHERE 子句中的表达式选择查询所需要的指定的分区,这样的 查询效率会提高很多

    2024年01月18日
    浏览(39)
  • MySQL基础篇——MySQL数据库客户端连接,数据模型,SQL知识

    作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。   座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 目录 前言 一.客户端连接MySQL 二. 数据模型 1.关系型数据库(RDBMS) 2.数据模型 三.SQL 1.SQL通用语法 2.SQL分类 3.数据库操作 1). 查

    2024年02月06日
    浏览(70)
  • AWS-SAA-C03认证——之基础知识扫盲

    AWS认证考试是什么?有什么用? AWS认证(AWS Certification )是AWS针对云计算行业从业者推出的一套认证体系;学员可以通过获得业内认可的证书来证明您的 AWS 云技能并提高您的信用度。 AWS官网关于认证体系的介绍页面:https://aws.amazon.com/cn/certification/ 目前,AWS在全球云计算市

    2024年01月17日
    浏览(49)
  • 【AWS云从业者基础知识笔记】——模块4:网络

    学习目标: 描述网络的基本概念。 描述公网络和私网的区别。 请使用真实场景解释虚拟专用网关。 用一个真实的场景来解释一个虚拟专用网(VPN)。 描述AWS直接连接的好处。 描述混合部署的好处。 描述IT策略中使用的安全层。 描述客户用于与AWS全球网络交互的服务。 Amazo

    2023年04月13日
    浏览(51)
  • 【AWS云从业者基础知识笔记】——模块3:全球基础设施和可靠性

    学习目标 总结AWS全球基础设施的好处。 描述可用分区的基本概念。 描述亚马逊CloudFront和edge locations的好处。 比较提供AWS服务的不同方法。 要理解AWS的全球基础设施,请考虑咖啡店。如果游行、洪水或停电等事件影响了一个地方,顾客仍然可以去几个街区外的另一个地方买

    2023年04月21日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包