本文主要描述在AWS Global区部署Data Transfer Hub方案,并创建从global S3同步文件到中国区S3的任务
本次实验架构图
1. 实验准备
1.1 AWS Global账号
需要一个AWS Global的账号,并且有相应的权限,本例是Full Administrator权限
1.2 在AWS Global账号下准备一个S3存储桶
登陆AWS Global账号,选择服务->存储->S3
文章来源地址https://www.toymoban.com/news/detail-712460.html
点击创建
输入存储桶名为garysource后,点击创建
并在存储账号中存入测试文件,如图:
1.3 AWS China账号
需要一个AWS China的账号,需要AKSK并且有相应的权限,本实验是Full Administrator权限
1.4 在AWS China账号下准备一个S3存储桶
登陆AWS China区域的账号,同步骤三,在宁夏区创建存储桶为garydes
1.5 准备一个邮件地址
准备一个可以接受邮件的邮件地址xxxx@xxxx.xx
2. 部署Data Transfer Hub
Data Tranfer Hub参考:Data Transfer Hub | Amazon Web Services Solutions
登陆AWS Global账号,选择服务->管理与监管 ->CloudFormation
点击创建堆栈-> 使用新资源(标准)
按照默认,选择模板已就绪,模板源是Amazon S3 URL,并填入地址:https://aws-gcr-solutions.s3.amazonaws.com/data-transfer-hub/latest/DataTransferHub-cognito.template
输入堆栈名称和邮件地址,点击下一步
在配置堆栈选项页面,直接选择下一步
在审核页面,确认输入信息无误后,选择我确认,AWS CloudFormation可能创建IAM资源,点击提交创建资源
等待大概15分钟,当整体任务显示complete的时候,已经创建完成
在输出标签中,找到PortalUrl对应的值,并复制出来,这就是Data Transfer Hub的访问地址。
3. 创建Secrets Manager
登陆AWS Global账号,选择服务->安全性、身份与合规性 ->Secrets Manager
点击存储新的秘钥
在选择密钥类型页面,选择其他类型的密钥,在键值对输入以下内容:
access_key_id 的值为AK
secret_access_key 的值为SK
region_name 的值为region,本例为cn-northwest-1,即目的存储桶的region.
在配置密钥页面,输入密钥名称为:prod/gary/key,点击下一步
在配置转动 - 可选页面点击下一步
在审核页面,点击存储
4. 创建同步任务
补充:如果Data Transfer Hub所在账户端使用KMS,确保EC2 profile加入KMS的使用者。
在步骤2的输出中,拷贝PortalUrl, 在浏览器中打开,输入1.5中预留的邮箱地址,并在邮箱中搜索由no-reply@verificationemail.com发来的邮件的密码
更新密码
点击skip
点击创建新任务
在选择引擎类型页面,选择Amazon S3,点击下一步
在填写任务信息页面,输入相应的信息:
数据源设置
数据源类型选择:Amazon S3
数据桶名称:garysource
传输类型:Objects with a specific prefix
数据桶对象前缀:exports/
源数据桶再当前账户么:Yes
源区域名称:Tokyo (ap-northeast-1)
目标桶设置
数据桶名称:garydes
凭证:prod/gary/key #依据步骤3中的secrets key
目标区域名称:Ningxia (cn-northwest-1)
引擎设置
任务调度设置:One Time Transfer,也可以根据情况选择Fixed Rate (每x天,每x小时,每x分钟等) 或者 Cron Expression (cron表达式)
通知邮箱:可以接收邮件的邮箱地址
在任务预览页面确认信息,如果无误,点击创建任务
5. 验证同步任务
等待一段时间以后,查看garydes存储桶,可以看到相应的文件:
文章来源:https://www.toymoban.com/news/detail-712460.html
到了这里,关于使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!