合作、参与、让开源更易用 | 亚马逊的开源文化

这篇具有很好参考价值的文章主要介绍了合作、参与、让开源更易用 | 亚马逊的开源文化。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

JAX 是一种越来越流行的库,它支持原生 Python 或 NumPy 函数的可组合函数转换,可用于高性能数值计算和机器学习研究。JAX 提供了编写 NumPy 程序的能力,这些程序可以使用 GPU/TPU 自动差分和加速,从而形成了更灵活的框架来支持现代深度学习架构。在这两篇文章中我们讨论了有关 JAX 的一些主题,希望对您用使用 JAX 这一框架进行深度学习研究有所帮助。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

 

您也可以在在移动互联网、物联网飞速发展的当下,不论是个人开发者还是大体量的企业服务都广泛采用着各种各样的云计算技术。而支持这些云计算设施的技术当中,又广布着开源产品的身影。亚马逊云科技作为行业中的佼佼者,不仅广泛使用了各类开源技术以支撑复杂而强大的云计算业务,也在参与开源项目的研发与推广中,积极推动着开源技术发展和生态建设。

亚马逊云科技在开源社区中始终保持着积极开放的态度:

  • 更广泛的合作:我们通过与开源用户、合作伙伴、社区建立紧密的伙伴关系来促进开源技术发展。在这些合作中,我们通过直接的代码贡献以及技术推广将开源的蛋糕做大,让参与开源的各方都能获得充分发展;

  • 更高的参与度:我们通过云计算,一方面从开源中获益,另一方面反哺开源。我们坚信开源生态不断的蓬勃发展,有利于形成良性的循环,能够促进整个开源社区和生态更加繁荣;

  • 让开源易于使用:我们将开源技术于自动化、全托管的云计算服务融合在一起,降低开源技术使用成本,推动开源技术在生产中落地和发展。在这个过程中,有更多用户以更低成本使用上开源技术,促进更多行业实现数字化转型。

亚马逊的领导力准则是亚马逊文化的核心,它如同亚马逊的 DNA 融入贯穿每一个重要决策,深深影响着每一位亚麻人、影响着每一位亚马逊的客户、合作伙伴以及每一位亚马逊云科技的构建者。同时,亚马逊的领导力准则对亚马逊与开源的互动方式也产生着深远的影响。 Build On Cloud 视频号观看这一部分的视频演讲:

合作、参与、让开源更易用 | 亚马逊的开源文化,开源

客户至尚

亚马逊领导力准则的第一条,也是非常重要的一条就是:客户至尚。

“以客户为中心的方法有很多优势,但最大的优势是:即便客户表示出愉悦并且认可我们的业务很出色,他们始终还是会存在某种不满足感。”

“甚至有时候他们自己并没有意识到,客户总想要更好的体验和服务,而您取悦客户的愿望将驱使您代表他们进行创造。”

—— Jeff Bezos

客户至尚,就是始终以客户为中心。当涉及要交付什么样的产品和服务时,亚马逊云科技首先会倾听客户和开发者的需求。不会为了技术而构建技术,也不会为了创新而贸然创新。因此,90% 的亚马逊云科技的产品路线图都是由客户和开发者的直接反馈推动的。

开源也是如此。多数开发者同时也是开源技术的贡献者和推动者。他们告诉我们,他们喜欢开源包容开放的环境和可创造性,同时也希望从云上获得更广泛何成熟的产品和服务。他们看到服务之间深度集成,会带来更显著的敏捷性和可管理性。

  • 开发者说,他们喜欢根据自己选择的标准来决定要运行什么以及如何运行他们的开源技术构建的应用系统。有些时候,他们希望自我管理这些开源工作负载,但有些业务场景,他们会使用由云供应商提供的工具和服务来运行、维护他们的开源应用。

  • 对于亚马逊云科技来说,我们需要深刻了解开发者在开发和运行开源软件时具体的问题和需求,并且要帮助他们解决这些问题。

  • 亚马逊云科技根据不同应用场景提供多种 Apache Airflow 服务方式:Apache Airflow 是一项由 Airbnb 在 2014 年推出的开源项目,其目的是为了管理日益复杂的数据管理工具、脚本和分析工具,提供一个构建批处理工作流的方案。从功能来看,这是一种可扩展的分布式工作流调度系统,允许将工作流建模为有向无环图(DAGs),通过这种方式简化数据管道中各个处理步骤的创建、编排和监控。项目地址:airflow.apache.org

亚马逊云科技提供了自管理方式

相比在自己的数据中心通过完全开源的 Kubernetes 来部署、运行和管理 Apache Airflow,利用公有云在全托管的容器服务,比如 Amazon ECS 、Amazon EKS 上部署 、运行以及管理 Airflow,开发者可以从很大程度上节省了对于基础架构的运维、计算资源的配置和预留以及集群资源管理的人力和时间的开销,同时还会获得了更多工具、服务的选择以及更多的灵活性。深度集成的云托管服务也会帮助开发者完成自动化 IT 运维管理、弹性扩展以及高可用等等复杂且繁琐的工作。让他们可以更加专注于 Airflow 本身的开发和运营。

合作、参与、让开源更易用 | 亚马逊的开源文化,开源

细节请参阅《在 Amazon Fargate 上运行 Airflow》:

但是自管理方式依旧会面临以下的挑战:

  • 部署配置繁琐。开源软件的配置管理通常是一个完全手动的过程。对于很多开发者来说,面对大规模的部署就需要定制他们自己环境的开发工具。同时对于部署配置过程中的多种选择,选择一个最合适的配置绝非易事;

  • 扩展难度高。虽然开发者在云上可以通过虚拟机的自动扩展或容器集群扩展来完成,但这两个配置管理工作本身就有一定的复杂性。开发者需要一定的技术积累,在生产中也会产生相应的项目成本;

  • 安全风险高。在安全方面,支持基于角色的认证和授权通常涉及的是一个过程。开发者必须在一个地方进行认证,然后进入 Apache Airflow 的用户界面,去授权该特定人员所属的具体角色(比如管理员或查看者)。很多开发者为了节省配置时间,常常会授权所有的开发者都成为管理员。但从安全的角度来说,这是非常危险的事情,很容易造成项目的管理混乱和人为的安全风险;

  • 版本升级复杂。在 Apache Airflow 中有数百个 Python 库,在这些库和其他依赖关系中去跟踪、准确定位哪些版本是稳定的,哪些版本是必须的,哪些版本有安全风险,几乎不可能。而升级 Apache Airflow 的痛苦又往往出现在升级失败后的回滚过程。

亚马逊云科技提供了全托管服务—— MWAA

为了解决开发者以上痛点和开发过程中挑战,在 2020 年 12 月亚马逊云科技为 Apache Airflow 推出了 Managed Workflows for Apache Airflow(MWAA)的全托管服务。

合作、参与、让开源更易用 | 亚马逊的开源文化,开源

Managed Workflows for Apache Airflow(MWAA)

  • 通过亚马逊云科技管理控制台、CLI 工具、Amazon CloudFormation 或者 Amazon SDK,开发者在几分钟内就可以完成基础环境的部署,开始账户创建,以及将 “有向无环图” 部署到自己的 Apache Airflow 环境中,不依赖于开发资源或者预置的基础设施。这让开发者可以更轻松地在云中大规模设置和运营端到端数据流水线;这项服务还提供了 Apache Airflow 的上游版本,这有效的解决了配置、扩展以及升级补丁等自管理的困扰,大大提升了生产效率。并且 MWAA 可以与开发者在亚马逊云科技服务账户中的其他服务集成,提供更多的自动化。

  • 使用全托管的 MWAA,开发者的数据会更加安全——因为可以借助内置的安全性运行 Apache Airflow。首先工作负载会在 Amazon VPC 提供的彼此隔离的安全环境中运行。其次数据则会利用 Amazon Key Management Service (KMS) 自动加密,对于 Apache Airflow 的用户管理界面,开发者可以使用 Amazon Identity and Access Management (IAM) 来控制基于角色的身份验证和授权,并提供单点登录访问。

  • 借助 MWAA,开发者能免去大规模运行开源 Apache Airflow 时需要的繁琐且复杂的部署、配置,扩展、安全等工作,节省了开发中更多服务工具学习的开销,也降低生产中对应的工程开销。

亚马逊云科技提供了更丰富的生态环境

亚马逊云科技丰富的生态使得 Apache Airflow 在部署以及运行中获得更多的帮助。开发者还可以选择通过一些亚马逊云科技的合作伙伴使用 Apache Airflow。丰富的生态可以在部署以及运行中获得更多的帮助,这一点,我们从亚马逊云科技 marketplace 提供各种服务中可以看到:AWS Marketplace: Search Results

合作、参与、让开源更易用 | 亚马逊的开源文化,开源

另外,为了让 Apache Airflow 工作流程的测试和开发工作更加的灵活和敏捷,开发者们希望利用本地资源以及熟悉的 IDE 测试开发 Apache Airflow 的工作流程。为了帮助开发者实现这一目标,亚马逊云科技贡献了一个与之相关的开源项目,aws-mwaa-local-runner。它可以帮助开发者在提交给实际运行环境之前,在本地利用本地资源,开发和测试他们的 Apache Airflow 工作流程。

当开发者在具体的项目中想要找到并使用源代码时,发现源代码用起来是需要一个过程。当深入了解这些细节时,可以看到,操作开源技术并从中获益,是一项复杂且繁琐的工作。当然这也是为什么开发者喜欢多种选择使用开源技术的原因。对于亚马逊来说,客户至尚,就是始终以客户和开发者为中心,在开源领域,亚马逊始终认为:客户至尚就是让开发者用自己的方式开源,所以无论我们的开发者选择哪种方式,我们终将和他们站在一起。

合作、参与、让开源更易用 | 亚马逊的开源文化,开源

我们会在下一篇分享中,为您解读指引亚马逊开源文化的另一领导力准则——最高标准。这是我们打造自管理、全托管服务并保证稳定性、可靠性的重要原则。

欢迎持续关注 Build On Cloud 微信公众号,了解更多面向开发者的技术分享和云开发动态!

往期推荐

  • 机器学习洞察 | JAX,机器学习领域的“新面孔”
  • 机器学习洞察 | 一文带你“讲透” JAX

合作、参与、让开源更易用 | 亚马逊的开源文化,开源 

 

作者郑予彬

亚马逊云科技资深开发者布道师,20 年 ICT 行业和数字化转型实践积累,专注于亚马逊云科技云原生、云安全技术领域。18 年架构师经验,致力于为金融、教育、制造以及世界 500 强企业用户提供数据中心建设以及软件定义数据中心等解决方案的咨询及技术落地。

 文章来源:https://dev.amazoncloud.cn/column/article/63e33987e5e05b6ff897ca10?sc_medium=regulartraffic&sc_campaign=crossplatform&sc_channel=CSDN文章来源地址https://www.toymoban.com/news/detail-537848.html

到了这里,关于合作、参与、让开源更易用 | 亚马逊的开源文化的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如果被亚马逊AWS扣费,应该怎么办啊?(亚马逊AWS服务还是很棒的)

    这两天登录到亚马逊云账号中发现,下个月的未出账单为100多刀,咦,怎么会这样啊!然后我马上*度了一下,被亚马逊云扣费应该怎么办,按照网友经验,我试了一下,还真管用,现在把这个过程记录下来,如果有需要这方面帮助的朋友,可以借鉴试试看。希望能帮到各位看

    2024年02月11日
    浏览(51)
  • 亚马逊开店指南

    亚马逊跨境电商平台是一个非常不错的选择,随着电商平台的不断发展,很多新手卖家想要进入跨境电商行业,但是苦于不了解亚马逊,所以迟迟没有行动,今天给大家分享一些关于亚马逊开店的知识,希望对大家有所帮助。 在亚马逊平台上开店是非常简单的,只要提供相关

    2024年02月14日
    浏览(39)
  • 亚马逊cdn配置

    登录后 进入桶管理 https://s3.console.aws.amazon.com/s3/buckets?region=us-east-1 创建一个新桶 基本都是默认点击 注意下面两个点 1 所有权    2 权限   创建cdn https://us-east-1.console.aws.amazon.com/cloudfront/v3/home?region=us-east-1#/distributions 关联好上面创建的桶即可, 其他默认  

    2024年02月13日
    浏览(53)
  • 设计亚马逊按销售排名功能

    Use cases 作用域内的Use Case Service 通过目录计算过去一周内最受欢迎的产品 User 通过目录去View过去周内最受欢迎的产品 Service 有高可用 作用域外 整个电商网站 设计组件(只是计算销售排名) 约束和假设 Traffic 不是平均分布的 类目会被存进多个不同目录 类目不能改变目录 没

    2024年01月23日
    浏览(52)
  • 做亚马逊会遇到哪些坑?

    不要听服务商告诉你的,只有店铺产品足够了,才会有订单,才能爆单。这种人是不懂的。因为在亚马逊自己送货实际上比联邦快,难多了。首先,大规模的铺货容易侵权,还有就是发货供应商,不稳定,订单是在亚马逊发的1688,说缺货,也会导致店铺被封。真正的自我发货

    2024年02月06日
    浏览(60)
  • 亚马逊AWS使用计费问题

    之前新建了两个ec2实例,第一个没有绑定弹性IP,第二个绑定了弹性IP,之后终止了第二个实例,然后绑定的弹性IP也就释放了。 问题在于第二天亚马逊发了邮件,说了因为弹性IP计费的问题,大概是说弹性ip未关联任何实例,所以会每小时0.005美元计费  之后Google查了一下,大

    2024年02月11日
    浏览(45)
  • 如何安全变更亚马逊收款账户?

    有太多的卖家想知道如何安全变更亚马逊收款账户,因为更改了第三方收款账户可能会导致二次视频认证或者增强视频。真的是这样吗? 其实不推荐亚马逊店铺正常运营之后去变更信用卡,收款账户等重要资料的,因为玩黑科技的卖家也真的多,搞的亚马逊也怕怕的。但是如

    2024年02月14日
    浏览(59)
  • AWS 亚马逊云服务专题学习

    前言 本系列博客记录了作者系统学习 AWS,以及备考 SAA 认证的知识储备,学习形式主要为根据在线课程结合课件熟悉 AWS 各类服务的主要功能和使用场景,系列内每篇博文分段解析了课程内容,时间有限的朋友也可以不用看视频课程只看博客。 1. 学习大纲 AWS 基础知识:IAM、

    2024年01月17日
    浏览(58)
  • 亚马逊“气候友好承诺”标签,这是什么?

    【亚马逊“气候友好承诺”标签,这是什么?】 气候友好承诺(Climate Pledge Friendly)是亚马逊宣布的新计划,这个计划可以为一些通过了可持续认证的产品打上特有的标签,让那些有先进气候改善意识的消费者能更容易接触到这些气候友好的产品。 这项计划的背景是:贝佐斯承

    2024年02月09日
    浏览(49)
  • AWS 亚马逊云良好架构框架

    根据多年来AWS的专家们积累的经验,创建了这一份AWS良好架构框架,其中包含了以下五大支柱: 安全性(Security) 可靠性(Reliability) 性能效率(Performance Efficiency) 成本优化(Cost Optimisation) 卓越操作(Operational Excellence) 1、不需再猜测您的容量需求 2、以生产规模进行系

    2024年01月18日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包