使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一．概述

随着对象存储使用得到广泛普及，越来越多的企业客户从其他云对象存储迁移到Amazon S3时对实时性，安全性，稳定性，易用性和同步效率有不同的要求。其次，数据存储如关系型/非关系型数据库，Elasticsearch，Redis等皆可通过导出文件或快照进行数据导入，使数据迁移变为基于文件的迁移。本文以迁移阿里MaxCompute数据为示例，通过阿里OSS对象存储实时事件触发，部署Data Transfer Hub以将阿里MaxCompute数据导入到Amazon S3数据湖。除了上述场景外，本文也同样适用于普通对象存储文件迁移。

阅读本文，您将会了解到：

如何使用Data Transfer Hub
如何配置OSS事件触发同步
常见问题和解决方法

二．简要说明

Data Transfer Hub（数据在线传输解决方案），是一个安全，可靠，可扩展和可追踪的数据传输解决方案，使用户可以轻松地创建和管理不同数据类型, 从不同的来源到Amazon Web Service云原生服务的传输任务，例如将数据从其他云服务商的对象存储服务 (包括阿里云 OSS、腾讯 COS、七牛 Kodo 和其他兼容 Amazon S3 的云存储服务) 复制到 Amazon S3。您可以访问亚马逊云科技解决方案官方网站了解该解决方案并在您的账户中进行部署。

该方案支持基于Amazon CloudFormation一键部署，采用无服务器架构，并提供了友好的用户界面，有着易于使用的特性。同时该方案采用了Amazon Graviton2 作为工作集群，大大降低云上费用。并且该方案运用了 BBR 加速，提升10倍传输性能。在架构设计上该方案采用集群架构，以实现海量数据极速传输。

此方案的 CloudFormation 模板会自动部署和配置包含 Amazon AppSync, Amazon DynamoDB, Amazon ECS Fargate, Amazon Lambda, Amazon Step Functions 等服务的架构。该解决方案提供一个托管于 Amazon S3 的 Web 前端，通过 Amazon CloudFront 对外提供服务。Web 前端使用 Amazon Cognito User Pool 或 OpenID Connect（OIDC）服务提供商进行身份验证。下图为前端部分的架构。

使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践

当用户通过前端界面启动数据传输任务后，会调用后端数据传输CloudFormation 模板自动部署和配置包含Amazon DynamoDB, Amazon ECS Fargate, Amazon Lambda, Amazon Step Functions, Amazon EC2, Amazon SQS 等服务的架构。其中Fargate会定期对比数据源和目标端之间的数据差异，并将有差异的数据任务发送到任务队列Amazon SQS中，以实现定时批量数据传输任务的创建。同时数据传输任务可以以Event的形式直接发送到任务队列SQS中，以实现实时增量数据传输任务的创建。Amazon EC2作为数据传输的工作者，其数量被Auto Scaling Group 所控制，根据SQS内待传输任务数进行自动扩展。EC2将把每一个数据传输任务的结果存储到DynamoDB中。下图为后端部分的架构。

使用Data Transfer Hub迁移MaxCompute数据至S3数据湖实践