[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南

这篇具有很好参考价值的文章主要介绍了[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南,# 云计算入门与实践 - AWS,云计算,aws,java,云平台

本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。

本文同步于个人公众号:【云计算洞察

更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。

本系列已更新博文:

  • [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南
  • [ 云计算 | AWS 实践 ] Java 如何重命名 Amazon S3 中的文件和文件夹
  • [ 云计算 | AWS 实践 ] 使用 Java 列出存储桶中的所有 AWS S3 对象
  • [ 云计算 | AWS 实践 ] 使用 Java 更新现有 Amazon S3 对象
  • [ 云计算 | AWS 实践 ] 基于 Amazon S3 协议搭建个人云存储服务
  • [ 云计算 | AWS 实践 ] 使用 Java 检查指定的密钥是否存在于给定的 Amazon S3 存储桶中

一、前言

在本文中,我们将探索如何利用 Java 编程与 Amazon S3(即简单存储服务)存储系统进行互动。

需要牢记,S3 的结构异常简单:每个存储桶能够容纳大量的对象,这些对象可以通过 SOAP 接口或 REST 风格的 API 进行访问。

接下来,我们将使用适用于Java的AWS开发工具包来实现S3存储桶的创建、列举以及删除。同时,我们还将学会如何上传、列举、下载、复制、移动、重命名以及删除这些存储桶内的各个对象。

二、所需 Maven 依赖

在开始之前,我们需要在项目中声明 AWS SDK 依赖项:

<dependency>
    <groupId>software.amazon.awssdk</groupId>
    <artifactId>s3</artifactId>
    <version>2.20.52</version>
</dependency>

要查看最新版本,我们可以检查 Maven Central,或者其他的国内 Maven 仓库。

三、先决必要的几个条件信息

要使用AWS SDK,我们需要一些东西:

  1. AWS 帐户:我们需要一个 Amazon Web Services 帐户。如果我们没有,我们可以直接在 AWS 控制台创建一个帐户。
  2. AWS 安全凭证:这些是我们的访问密钥,允许我们以编程方式调用 AWS API 操作。我们可以通过两种方式获取这些凭证:使用“安全凭证”页面的访问密钥部分中的 AWS 根账户凭证,或者使用IAM控制台中的 IAM 用户凭证。
  3. 选择 AWS 区域(Region):我们还必须选择要存储 Amazon S3 数据的 AWS 区域。请记住,S3 存储价格因地区而异。有关更多详细信息,请参阅官方文档。

四、创建客户端连接

首先,我们需要创建一个客户端连接来访问 Amazon S3 Web 服务。为此,我们将使用 Amazon S3 接口:

AWSCredentials credentials = new BasicAWSCredentials(
  "<AWS accesskey>", 
  "<AWS secretkey>"
);

然后我们将配置客户端:

AmazonS3 s3client = AmazonS3ClientBuilder
  .standard()
  .withCredentials(new AWSStaticCredentialsProvider(credentials))
  .withRegion(Regions.US_EAST_2)
  .build();

五、Amazon S3 存储桶操作

5.1. 创建桶

需要注意的是,存储桶命名空间是由系统的所有用户共享的。因此,我们的存储桶名称在 Amazon S3 中的所有现有存储桶名称中必须是唯一的(稍后我们将了解如何检查这一点)。

另外,根据官方文档规定,Bucket 名称必须符合以下要求:

  • 名称不应包含下划线
  • 名称长度应介于 3 到 63 个字符之间
  • 名称不应以破折号结尾
  • 名称不能包含相邻的句点
  • 名称后面不能包含破折号(例如,“my-.bucket.com”和“my.-bucket”无效)
  • 名称不能包含大写字符

现在让我们创建一个存储桶:

String bucketName = "baeldung-bucket";

if(s3client.doesBucketExist(bucketName)) {
    LOG.info("Bucket name is not available."
      + " Try again with a different Bucket name.");
    return;
}
CreateBucketRequest bucketRequest = CreateBucketRequest.builder()
    .bucket(bucketName)
    .build();

s3Client.createBucket(bucketRequest);

在创建存储桶之前,我们必须使用doesBucketExist()方法检查存储桶名称是否可用。如果名称可用,那么我们将构建一个CreateBucketRequest 并提供存储桶名称。最后一步是将bucketRequest传递给 S3Client 的CreateBucketRequest createBucketRequestcreateBucket

5.2. 列出桶

现在我们已经创建了一些存储桶,让我们使用listBuckets ()方法打印 S3 环境中可用的所有存储桶的列表。此方法将返回一个ListBucketsResponse, 其中包含有关存储桶的信息。

ListBucketsResponse listBucketsResponse = s3Client.listBuckets();

// Display the bucket names
List<Bucket> buckets = listBucketsResponse.buckets();
System.out.println("Buckets:");
for (Bucket bucket : buckets) {
    System.out.println(bucket.name());
}

这将列出 S3 环境中存在的所有存储桶:

baeldung-bucket
baeldung-bucket-test2
elasticbeanstalk-us-east-2

5.3. 删除桶

在删除存储桶之前,确保存储桶是空的非常重要。 否则,将会抛出异常。

首先,我们需要构建一个DeleBucketRequest实例并向其传递存储桶名称。然后,我们调用 s3Client 对象上的deleteBucket方法,并将请求作为参数传递。

另请注意,只有存储桶的所有者才能删除它,无论其权限如何(访问控制策略):

try {
    DeleteBucketRequest deleteBucketRequest = DeleteBucketRequest.builder()
        .bucket(bucketName)
        .build();

    s3Client.deleteBucket(deleteBucketRequest);
    System.out.println("Successfully deleted bucket : " + bucketName);
} catch (S3Exception e) {
    System.err.println(e.getMessage());
    System.exit(1);
}

六、Amazon S3 对象操作

Amazon S3 存储桶内的文件或数据集合称为对象。我们可以对对象执行多种操作,例如上传、列出、下载、复制、移动、重命名和删除。

6.1. 上传对象

上传对象是一个非常简单的过程。首先,我们将构建一个PutObjectRequest实例,指定存储桶名称和密钥。然后,我们将该请求和包含数据的文件的路径传递给 s3Client 的putObject方法:

PutObjectRequest request = PutObjectRequest.builder()
    .bucket(bucketName)
    .key(key)
    .build();

return s3Client.putObject(request, Path.of(file.toURI()) );

6.2. 列出对象

我们将使用listObjects()方法列出 S3 存储桶中的所有可用对象:

ListObjectsV2Request listObjectsV2Request = ListObjectsV2Request.builder()
    .bucket(bucketName)
    .build();
ListObjectsV2Response listObjectsV2Response = s3Client.listObjectsV2(listObjectsV2Request);

List<S3Object> contents = listObjectsV2Response.contents();

System.out.println("Number of objects in the bucket: " + contents.stream().count());
contents.stream().forEach(System.out::println);

要列出 AWS S3 存储桶中的对象,我们需要创建一个ListObjectsV2Request实例并指定存储桶名称。然后,我们在 s3Client 对象上调用 listObjectsV2方法,并将请求作为参数传递。此方法返回一个ListObjectsV2Response,其中包含有关存储桶中对象的信息。

6.3. 下载对象

要下载对象,我们首先创建一个GetObjectRequest实例并将存储桶名称和密钥作为输入参数传递给它。然后,我们将其提供给 getObjectAsBytes()方法并获取响应。一旦我们得到响应,我们就可以提取字节数组。最后一步是处理字节数组:

GetObjectRequest objectRequest = GetObjectRequest.builder()
    .bucket(bucketName)
    .key(objectKey)
    .build();

ResponseBytes<GetObjectResponse> responseResponseBytes = s3Client.getObjectAsBytes(objectRequest);

byte[] data = responseResponseBytes.asByteArray();

// Write the data to a local file.
java.io.File myFile = new java.io.File("/Users/user/Desktop/hello.txt" );
OutputStream os = new FileOutputStream(myFile);
os.write(data);
System.out.println("Successfully obtained bytes from an S3 object");
os.close();

6.4. 复制、重命名和移动对象

我们可以通过调用 s3client 上的copyObject()方法来复制对象,该方法接受CopyObjectRequest实例。因此,CopyObjectRequest接受四个参数:

  1. 源存储桶名称
  2. 源存储桶中的对象键
  3. 目标存储桶名称(可以与源存储桶名称相同)
  4. 目标存储桶中的对象键
CopyObjectRequest copyObjectRequest = CopyObjectRequest.builder()
    .sourceBucket(sourceBucketName)
    .sourceKey(sourceKey)
    .destinationBucket(destinationBucketName)
    .destinationKey(destinationKey)
    .build();

return s3Client.copyObject(copyObjectRequest);

注意:我们可以结合使用copyObject()方法和deleteObject()来执行移动和重命名任务。这将涉及首先复制对象,然后将其从旧位置删除。

6.5. 删除对象

要删除对象,我们将在s3client上调用deleteObject()方法并传递DeleteObjectRequest实例。为了创建DeleteObjectRequest实例,我们需要传递要删除的对象的键和存储桶名称:

DeleteObjectRequest deleteObjectRequest = DeleteObjectRequest.builder()
    .bucket(bucketName)
    .key(objectKey)
    .build();

s3Client.deleteObject(deleteObjectRequest);

6.6. 删除多个对象

要一次删除多个对象,我们首先创建DeleteObjectsRequest对象并传递存储桶。然后我们将传递一个包含所有要删除的对象键的 ArrayList。

一旦我们有了这个DeleteObjectsRequest对象,我们就可以将它作为参数传递给我们的 s3client 的deleteObjects()方法。如果成功,它将删除我们提供的所有对象:

ArrayList<ObjectIdentifier> toDelete = new ArrayList<>();
for(String objKey : keys) {
    toDelete.add(ObjectIdentifier.builder()
        .key(objKey)
        .build());
}

DeleteObjectsRequest deleteObjectRequest = DeleteObjectsRequest.builder()
    .bucket(bucketName)
    .delete(Delete.builder()
        .objects(toDelete).build())
    .build();

s3Client.deleteObjects(deleteObjectRequest);

七、文末总结

在本文中,我们重点介绍了在存储桶级别和对象级别与 Amazon S3 Web 服务交互的基础知识。重点在 Java 应用中使用 Amazon S3(Simple Storage Service)进行存储桶和对象操作的方法、详细说明了如何进行存储桶操作,包括创建桶和列出桶。在对象操作部分,我们涵盖了上传、列出和下载对象的过程,还介绍了复制、重命名、移动对象以及删除对象的方法。此外,我们还提供了删除多个对象的操作步骤。通过本文,小伙伴们可以了解如何通过 Java 代码有效地与 Amazon S3 进行交互,实现对存储桶和对象的各种操作。文章来源地址https://www.toymoban.com/news/detail-680987.html

[ 本文作者 ]   bluetata
[ 原文链接 ]   https://bluetata.blog.csdn.net/article/details/132531011
[ 最后更新 ]   11/19/2023 23:45
[ 版权声明 ]   如果您在非 CSDN 网站内看到这一行,
说明网络爬虫可能在本人还没有完整发布的时候就抓走了我的文章,
可能导致内容不完整,请去上述的原文链接查看原文。

到了这里,关于[ 云计算 | AWS ] Java 应用中使用 Amazon S3 进行存储桶和对象操作完全指南的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [ 云计算 | AWS 实践 ] 使用 Java 列出存储桶中的所有 AWS S3 对象

    本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【 云计算洞察 】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶

    2024年02月06日
    浏览(49)
  • [ 云计算 | AWS 实践 ] Java 如何重命名 Amazon S3 中的文件和文件夹

    本文收录于【#云计算入门与实践 - AWS】专栏中,收录 AWS 入门与实践相关博文。 本文同步于个人公众号:【 云计算洞察 】 更多关于云计算技术内容敬请关注:CSDN【#云计算入门与实践 - AWS】专栏。 本系列已更新博文: [ 云计算 | AWS 实践 ] Java 应用中使用 Amazon S3 进行存储桶

    2024年02月08日
    浏览(56)
  • AWS——04篇(AWS之Amazon S3(云中可扩展存储)-02——EC2访问S3存储桶)

    关于AWS的前几篇入门文章,如下: AWS——01篇(AWS入门 以及 AWS之EC2实例及简单使用). AWS——02篇(AWS之服务存储EFS在Amazon EC2上的挂载——针对EC2进行托管文件存储). AWS——03篇(AWS之Amazon S3(云中可扩展存储)-01入门). 我这里使用的都是前面创建好的,关于怎么创建,请

    2024年02月13日
    浏览(43)
  • AWS——03篇(AWS之Amazon S3(云中可扩展存储)-01入门)

    关于AWS的其他入门,如下: AWS——01篇(AWS入门 以及 AWS之EC2实例及简单使用). AWS——02篇(AWS之服务存储EFS在Amazon EC2上的挂载——针对EC2进行托管文件存储). 2.1.1 简述 Amazon S3:从任意位置存储和检索任意数量的数据 Amazon S3 是一项对象存储服务,可提供业界领先的可扩展

    2024年02月14日
    浏览(44)
  • Amazon云计算AWS之[1]基础存储架构Dynamo

    面向服务的Amazon平台基本架构 为了保证其稳定性,Amazon的系统采用 完全的分布式、去中心化的架构 作为底层存储架构的Dynamo也同样 采用无中心的模式 Dynamo只 支持简单的键/值(key/value)方式的数据存储 ,不支持复杂的查询 Dynamo中 存储的是数据值的原始形式 ,即按位存储

    2024年04月26日
    浏览(49)
  • Amazon S3 对象存储Java API操作记录(Minio与S3 SDK两种实现)

    今年(2023年) 2月的时候做了个适配Amazon S3对象存储接口的需求,由于4月份自学考试临近,一直在备考就拖着没总结记录下,开发联调过程中也出现过一些奇葩的问题,最近人刚从考试缓过来顺手记录一下。 Amazon S3(Simple Storage Service)对象存储出现得比较早且使用简单的RESTful

    2024年02月01日
    浏览(51)
  • 使用Ceph对象存储的Amazon S3接口(基于nautilus版本)

    Ceph是一个分布式存储系统,提供了多种数据存储方式,包括对象存储。Amazon S3是一个流行的对象存储服务,Ceph提供了Amazon S3接口的兼容性,使得Ceph可以作为一个云存储解决方案。 分片上传接口是Amazon S3接口中的一个重要功能,它允许将大文件拆分成小的分片上传,降低了上

    2024年02月06日
    浏览(46)
  • 【AWS】实操-保护 Amazon S3 VPC 终端节点通信

    数据安全至关重要。Amazon Web Services (AWS) 提供了多种解决方案和最佳实践来帮助保护数据的安全。了解如何做出最佳决策来保护数据的安全,这项任务可能具有挑战性。 在无路由指向互联网的私有子网中运行应用程序,可将攻击面限制为仅限内部流量,从而实现数据安全。

    2024年02月10日
    浏览(54)
  • Amazon S3 的 java sdk简单使用

    在开发过程中基本都需要使用到对象存储技术。 对于一些国内的项目来说,可以使用阿里云,七牛云,京东云等开发平台进行开发对接存储对象。 而对于海外的项目,可能现有的国内技术无法使用,这时候就遇到了amazon这个平台了。在此只整理了其对接以及对象存储和验签

    2024年02月02日
    浏览(44)
  • 【Terraform学习】使用 Terraform创建 S3 存储桶事件(Terraform-AWS最佳实战学习)

      本站以分享各种运维经验和运维所需要的技能为主 《python》:python零基础入门学习 《shell》:shell学习 《terraform》持续更新中:terraform_Aws学习零基础入门到最佳实战 《k8》暂未更新 《docker学习》暂未更新 《ceph学习》ceph日常问题解决分享 《日志收集》ELK+各种中间件 《运

    2024年02月10日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包