AWS DAS认证考点整理(Kinesis篇)

这篇具有很好参考价值的文章主要介绍了AWS DAS认证考点整理(Kinesis篇)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  1. Kinesis Data Stream = KDS
  2. Kinesis Data Firehose = KDF
  3. Kinesis Data Analytics = KDA
  4. Kinesis Producer Library=KPL
  5. Kinesis Consumer Library=KCL

KDF vs KDS

  1. KDS=realtime, KDF=near-real-time。
  2. KDS&KDF最大消息=1MB, SQS最大消息=256KB,Kafka最大消息=15MB。
  3. KDS支持排序,SQS只有FIFO队列支持排序,普通SQS不支持。
  4. KDS 写入消息偏慢:1. 基于吞吐量优化消息生产者,2. 基于吞吐量优化service limit。
  5. KDS的destination包括KDF,KDA和Lambda。
  6. KPL对KDS读写,KCL是KDS的消费者,Kinesis agent写入KDF。

KDF

  1. KDF+Amazon Opensearch+Kibana=near-real-time analytics。
  2. KDF有Opensearch、 S3、Redshift作为destination。KDA也可以分析KDF数据流。
  3. KDF data latency = 1min
  4. KDF改善性能,调整buffer size/buffer intervals。

KDS

  1. KDS重复数据:1. Producer有网络延迟,2. Shards、Record Processors有增减。
  2. 由于网络等不可抗力造成的KDS数据重复可以通过加入唯一码(Unique ID)来去重解决。
  3. KCL ExpiredIteratorExceptions=增加DynamoDB的写入单元(write capacity units)。
  4. KCL Poll delay=1sec,通过修改propagation delay in KCL default setting可以降低。
  5. KDS的每个shard可以用一个Lambda进行处理,如果处理过慢可以增加shard。此外当一个stream有多个消费者时可以使用fan-out提升性能。还有一种提升性能的办法叫HTTP/2,这种协议比HTTP读取速度更快。但这两种办法都要额外收费。
  6. 一个KDS可以有多个消费者。一个KDS fan-out lambda支持最多20个终端。
  7. KDS实际吞吐量小于assigned streams throughput:shard分配不平衡。
  8. KDS可以保留数据长达一年。
  9. KDS encrypted at rest = Server-side encryption with CMK in KMS
  10. KDS有VPC Endpoint保证流量不用走公网
  11. KDS + API Gateway = Kinesis Proxy
  12. KPL会buffer records,如果要最快,直接调用PutRecord/PutRecords。
  13. KDS stream resize后,通过process parent shard去避免记录乱序。
  14. KDS throttle write requests:increase shards(UpdateShardCount API),choose partition key.
  15. CloudWatch Subscription Filter跨account传给KDS= IAM Role and Trust policy.

KDA 

  1. KDA from S3/MCK/KDS to S3/MCK/KDS。KDA还能分析KDF数据流。
  2. KDA使用S3文件,reference data source,自动推测结构。
  3. KDA for SQL不支持MSK,不支持schema改变。
  4. KDA基于Flink,open-source兼容。

MSK

  1. MSK支持storage auto scale up。
  2. Kafka Topic权限控制=Kafka ACL

文章来源地址https://www.toymoban.com/news/detail-502981.html

到了这里,关于AWS DAS认证考点整理(Kinesis篇)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 腾讯云从业者认证考试考点——云网络产品

    负载均衡(Cloud Load Balancer) 是 对多台云服务器进行流量分发 的服务。负载均衡可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升应用系统的可用性。 私有网络(Virtual Private Cloud,VPC) 是一块您在腾讯云上自定义的 逻辑隔离网络空间 ,与您在数据中

    2024年02月14日
    浏览(51)
  • 亚马逊认证考试系列 - 知识点 - 对象存储S3考点介绍

    Amazon S3(Simple Storage Service)是AWS提供的一项面向Web开发人员的在线存储服务。它可以为互联网上的任何数量和任何类型的数据提供可扩展的存储空间。 Amazon S3的核心功能是存储和检索数据,具有高度的可扩展性、安全性、耐用性和性能。S3 的可扩展性表现在以下几个方面:

    2024年02月11日
    浏览(36)
  • aws ffmpeg+ lambda来完成视频stream的截图 python 版

    准备事项: 准备一台与lambda系统相同的ec2(临时使用用完就可以delete掉了) 创建一个lambda用的layer 创建一个lambda 1.准备一台与lambda系统相同的ec2 上图是与lambda版本相同的linux系统 这台ec2是用来下载ffmpeg,解压重新压缩ffmpeg,是为lambda准备ffmpeg层的,这些任务结束后这个ec2就

    2024年02月21日
    浏览(38)
  • aws ffmpeg+ lambda来完成视频stream的截图 python docker 版

    FFmpeg被广泛应用于音/视频流处理领域。对于简单的需求,我们可以直接运行FFmpeg二进制程序命令就可以完成。但是对于定制性的功能,则需要熟悉系统的代码设计框架,进行二次开发。文本讨论的是在AWS无服务架构的Lambda上,如何通过Docker部署FFmpeg二进制程序。 Lambda运行时

    2023年04月08日
    浏览(37)
  • aws sap认证概述

    AWS SAP认证指的是AWS Certified Solutions Architect - Professional,是AWS认证计划中的一种,旨在测试候选人在AWS云环境中设计和部署复杂应用程序的能力,特别是针对SAP应用程序。 该认证要求考生具有在AWS云环境中设计,部署和管理复杂的SAP工作负载的能力。考试涵盖以下主题: 设计

    2024年02月13日
    浏览(41)
  • AWS认证

    云从业者 AWS Certified Cloud Practitioner 云从业者认证是17年年末的时候才推出的新考试。这门考试是所有考试里面最简单的一门,主要面对那些想初步了解云计算以及亚马逊 AWS 内容的人,特别适合那些对 AWS 一无所知的“小白”及非IT行业从业者。它的考试内容包含了云计算概念

    2024年02月08日
    浏览(37)
  • AWS考试认证学习(二)

    AWS高级考试 AWS Certified Solutions Architect - Professional   报名费:300美金 SAP-C01考试内容主要覆盖的五大领域和对应领域所占权重: 1、组织复杂性设计 12.5% 2、新解决方案设计 31% 3、迁移规划 15% 4、成本控制 12.5% 5、现有解决方案持续改进 29% SAP-C01考试指南下载地址:SAP-C01考试指

    2024年02月15日
    浏览(82)
  • 如何考取 AWS 技术认证

    因为工作需要,前几年接触到了 AWS。开始接触云计算的我,对云计算简单的认识就是创建虚拟机,很多云上的概念,最佳实践并不清楚。一个偶然的机会,我看到了 AWS Summit 的海报信息,从中看到了 AWS 认证培训讲座,并且在 summit 当天参加了AWS SAA 认证培训讲座,在两个小时

    2024年02月02日
    浏览(80)
  • AWS 中文入门开发教学 39- AWS CLI - AWS认证 必须会的命令行工具

    AWS Command Line Interface (AWS CLI) 是一种开源工具, 让您 能够在命令行 Shell 中使用命令与 AWS 服务进行交互 。 仅需最少的配置,即可使用 AWS CLI 开始运行命令,以便从终端 程序中的命令提示符实现与基于浏览器的 AWS 管理控制台所提供的 功能等同的功能。 https://aws.amazon.com/cn/

    2024年02月17日
    浏览(58)
  • AWS认证是什么意思?怎么报考?

    什么是aws认证 aws认证是亚马逊(Amazon)公司的云计算IaaS和PaaS平台服务。AWS面向用户提供包括弹性计算、存储、数据库、应用程序在内的一整套云计算服务,能够帮助企业降低IT投入成本和维护成本。AWS提供了一整套基础设施和应用程序服务,使几乎能够在云中运行一切应用

    2024年02月16日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包