使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3

这篇具有很好参考价值的文章主要介绍了使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文主要描述在AWS Global区部署Data Transfer Hub方案,并创建从global S3同步文件到中国区S3的任务

本次实验架构图

 aws data transfer,AWS,aws,云计算

1. 实验准备

1.1 AWS Global账号

需要一个AWS Global的账号,并且有相应的权限,本例是Full Administrator权限

1.2 在AWS Global账号下准备一个S3存储桶

登陆AWS Global账号,选择服务->存储->S3

aws data transfer,AWS,aws,云计算

 文章来源地址https://www.toymoban.com/news/detail-712460.html

点击创建

aws data transfer,AWS,aws,云计算

 

输入存储桶名为garysource后,点击创建

aws data transfer,AWS,aws,云计算

 

并在存储账号中存入测试文件,如图:

aws data transfer,AWS,aws,云计算

 

1.3 AWS China账号

需要一个AWS China的账号,需要AKSK并且有相应的权限,本实验是Full Administrator权限

1.4 在AWS China账号下准备一个S3存储桶

登陆AWS China区域的账号,同步骤三,在宁夏区创建存储桶为garydes

1.5 准备一个邮件地址

准备一个可以接受邮件的邮件地址xxxx@xxxx.xx

2. 部署Data Transfer Hub

Data Tranfer Hub参考:Data Transfer Hub | Amazon Web Services Solutions

登陆AWS Global账号,选择服务->管理与监管 ->CloudFormation

aws data transfer,AWS,aws,云计算

 

点击创建堆栈-> 使用新资源(标准)

aws data transfer,AWS,aws,云计算

 

按照默认,选择模板已就绪,模板源是Amazon S3 URL,并填入地址:https://aws-gcr-solutions.s3.amazonaws.com/data-transfer-hub/latest/DataTransferHub-cognito.template

aws data transfer,AWS,aws,云计算

 

输入堆栈名称邮件地址,点击下一步

aws data transfer,AWS,aws,云计算

 

配置堆栈选项页面,直接选择下一步

aws data transfer,AWS,aws,云计算

 

审核页面,确认输入信息无误后,选择我确认,AWS CloudFormation可能创建IAM资源,点击提交创建资源

aws data transfer,AWS,aws,云计算

 

等待大概15分钟,当整体任务显示complete的时候,已经创建完成

aws data transfer,AWS,aws,云计算

 

输出标签中,找到PortalUrl对应的值,并复制出来,这就是Data Transfer Hub的访问地址。

3. 创建Secrets Manager

登陆AWS Global账号,选择服务->安全性、身份与合规性 ->Secrets Manager

aws data transfer,AWS,aws,云计算

 

点击存储新的秘钥

aws data transfer,AWS,aws,云计算

 

选择密钥类型页面,选择其他类型的密钥,在键值对输入以下内容:

access_key_id 的值为AK

secret_access_key 的值为SK

region_name 的值为region,本例为cn-northwest-1,即目的存储桶的region.

aws data transfer,AWS,aws,云计算

 

配置密钥页面,输入密钥名称为:prod/gary/key,点击下一步

aws data transfer,AWS,aws,云计算

 

配置转动 - 可选页面点击下一步

审核页面,点击存储

4. 创建同步任务

补充:如果Data Transfer Hub所在账户端使用KMS,确保EC2 profile加入KMS的使用者。

在步骤2的输出中,拷贝PortalUrl, 在浏览器中打开,输入1.5中预留的邮箱地址,并在邮箱中搜索由no-reply@verificationemail.com发来的邮件的密码

aws data transfer,AWS,aws,云计算

 

更新密码

aws data transfer,AWS,aws,云计算

 

点击skip

aws data transfer,AWS,aws,云计算

 

点击创建新任务

aws data transfer,AWS,aws,云计算

 

选择引擎类型页面,选择Amazon S3,点击下一步

aws data transfer,AWS,aws,云计算

 

填写任务信息页面,输入相应的信息:

数据源设置

数据源类型选择:Amazon S3

数据桶名称:garysource

传输类型:Objects with a specific prefix

数据桶对象前缀:exports/

源数据桶再当前账户么:Yes

源区域名称:Tokyo (ap-northeast-1)

目标桶设置

数据桶名称:garydes

凭证:prod/gary/key #依据步骤3中的secrets key

目标区域名称:Ningxia (cn-northwest-1)

引擎设置

任务调度设置:One Time Transfer,也可以根据情况选择Fixed Rate (每x天,每x小时,每x分钟等) 或者 Cron Expression (cron表达式)

通知邮箱:可以接收邮件的邮箱地址

aws data transfer,AWS,aws,云计算

 

任务预览页面确认信息,如果无误,点击创建任务

5. 验证同步任务

等待一段时间以后,查看garydes存储桶,可以看到相应的文件:

aws data transfer,AWS,aws,云计算

 

到了这里,关于使用AWS MVP方案[Data Transfer Hub]从Global S3同步文件到中国区S3的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AWS-自定义ami的S3存取使用

    需要提前配置好aws-cli哈 对应的区域 要统一 示例:即AWS-CLI 和 EC2、AMI、S3以上资源均要使用同已区域,以下拿新加坡举例 1.新建自定义AMI 2.查看ami状态 确认是可用状态,才能开始操作 3.aws-cli 开始存入s3 只能使用桶的根目录 开始上传s3 正常回显 查看进度 正常回显 去桶上查看

    2024年02月13日
    浏览(40)
  • [ 云计算 | AWS 实践 ] 使用 Java 列出存储桶中的所有 AWS S3 对象

    本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【 云计算洞察 】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶

    2024年02月06日
    浏览(52)
  • AWS s3 使用教程,前后端Java+html开发教程

    目录 一、 AWS S3配置说明 1. S3 Bucket配置 1.1 ACL配置 1.2 存储桶策略配置 1.3 跨源资源共享配置 2. IAM配置 2.1 创建S3UploadPolicy策略 2.2 创建S3的Role 3. EC2配置 3.1 EC2添加role 二、S3 HTML+JAVA代码实现 三、AWS cloudfront 及Signed url 四、相关文档 S3 Bucket包括ACL配置、存储桶策略配置及跨源资

    2024年02月03日
    浏览(36)
  • 使用亚马逊(AWS)云服务在S3上实现图片缩放功能(CloudFront/S3[AccessPoint/LambdaAccessPoint])

    亚马逊云服务中的S3对象存储功能和国内阿里云的oss对象存储使用基本一致。但是涉及到存储内容处理时,两家有些差别。 比如:对于云存储中的图片资源,阿里云比较人性化对于基本的缩放裁剪功能已经帮我们封装好了,只需要在url地址后面拼接参数即可,但是亚马逊S3存

    2024年02月16日
    浏览(43)
  • [ 云计算 | AWS 实践 ] 使用 Java 更新现有 Amazon S3 对象

    本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【 云计算洞察 】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶

    2024年02月05日
    浏览(49)
  • 【Terraform学习】使用 Terraform 托管 S3 静态网站(Terraform-AWS最佳实战学习)

    前提条件 安装 Terraform : 地址 下载仓库代码模版 本实验代码 位于  task_s3  文件夹中 。 变量文件  variables.tf    在上面的代码中,您将 声明 , aws_access_key , aws_secret_key 和 区域变量 。 声明站点变量 ,站点的 根域和子域 。在上面的代码中 添加网站的 domain值 和 submain值

    2024年02月11日
    浏览(51)
  • 5、AWS SDK for Go-使用s3manager上传下载文件

    文档地址:传送门 上传和下载管理器可以分解大型对象,以便可以将它们分成多个部分并行传输。这使得恢复中断的传输变得容易。 S3 下载管理器确定文件是否可以拆分为更小的部分并并行下载。您可以自定义并行下载的数量和下载部分的大小。 S3 上传管理器确定文件是否

    2024年02月15日
    浏览(52)
  • 【Terraform学习】使用 Terraform创建 S3 存储桶事件(Terraform-AWS最佳实战学习)

      本站以分享各种运维经验和运维所需要的技能为主 《python》:python零基础入门学习 《shell》:shell学习 《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战 《k8》暂未更新 《docker学习》暂未更新 《ceph学习》ceph日常问题解决分享 《日志收集》ELK+各种中间件 《运

    2024年02月10日
    浏览(43)
  • [ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南

    本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【 云计算洞察 】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶

    2024年02月11日
    浏览(47)
  • 使用docker版minio s3协议同步思源笔记

    在docker hub pulll ​ ​ 或者用导出的镜像文件 链接:https://pan.baidu.com/s/1F5y0WA0IjfdcPpOZtrtNpA?pwd=6666 提取码:6666 ​ ​ 添加一个本地地址 ​ ​ 配置端口 ​ ​ 第一个是使用s3协议访问的端口,第二个是进行管理登录的端口,如果本地端口冲突自行更换即可 默认已经配置好了ddn

    2024年02月09日
    浏览(92)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包