MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...

这篇具有很好参考价值的文章主要介绍了MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

开头还是介绍一下群,如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, Oceanbase, 等有问题,有需求都可以加群群内有各大数据库行业大咖,CTO,可以解决你的问题。加群请联系 liuaustin3 ,在新加的朋友会分到2群(共1300人左右 1 + 2 + 3 + 4) 3群即将突破 400 (目前387)会关闭自由申请,新人会进4群,另欢迎 OpenGauss 的技术人员加入。

每天感悟

每时每刻我都认为我是正确的,每时每刻我都发现我的认知需要修正,不停的探索,不停的刷新自己曾经的认知,而不是和动物一样吃饱就行

正文:——————————————————————————

这是2023年纽约NYC MongoDB大会的第二期,这期的主题是在企业级别从RDBMS 迁移到 NoSQL. 

请不要找我要原文,没有原文,音译,翻译水平有限,如有错误,尽请谅解。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

正文:

下面我们为大家介绍重量级的,或者都不需要介绍,Rick Houlihan, 他之前在 AWS 工作,现在他是全球NOSQL 技术上的领导,现在我们欢迎他

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

大家好,非常感谢大家抽出宝贵的时间,来参加纽约2023 MongoDB技术大会,正如刚才那位女士提到的,我在AWS工作了10年,作为NOSQL方面的全球的技术专家,我负责亚马逊零售 NOSQL 技术团队,你们下面的诸位可能会很熟悉,从有关系,到无关系的数据迁移,我的团队拥有最先进的设计模式和最佳的实践开发经验。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

我想大家都感兴趣,为什么像 亚马逊这样的大型企业,选择的新技术是NoSQL ,而不是 RDBMS 关系型数据库,那些经过多年验证的数据库产品,实际上当初我们在这个名为 Rolling stone 的项目初衷并不是要替代传统数据库, 而我们的目的是让ORACLE 滚蛋,因为ORACLE的存在让亚马逊的领导非常的难堪,这样一个又贵有X的数据库的存在,让亚马逊的领导每次都需要在演讲台上重塑,aws 有非常出色的数据库服务,然后Larry(oracle ceo), 也站在讲台上反唇相讥,说既然你有最好的数据库服务,为什么ORACLE 是 AWS 最大的服务商。所以最早的这个项目的目的就是让ORACLE 滚蛋。

我们的技术路径就是,数据库是自由的路径,截止到今天我们的很多数据库工作都是在进行数据库的关系建模,归根结底我们的工作就是要让人们认识到,不存在关系性数据这类东西,非关系型的数据就和无线频道之间的空间传输一样,关系本身只存在于查询的时候,以及如何对这些关系型进行建模。

建模是否适合你,关系型数据库是否适合你,我们是否可以有效的进行设计,一旦你认识到我们再以全新的方式来定义,今天我们要谈的即使,The great migration ,why nosql ?

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

我们迁移路线是否正确,我们迁移的基准点在哪里,我们如何关心开发的模式。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

台下很多人可能会说,AWS 就是云企业,你们迁移到NOSQL上很简单,实际上你们是错误的,AWS 诞生于1995年,他是开发面向服务架构前就存在的公司,价值50亿美元的企业,所以我们并不是你们想象的我们有很多传统的技术,各种堆栈,以及基于应用开发的大型的服务,我们要摆脱这一切是从rolling stone项目开始的,让ORACLE 滚蛋,我们曾经是Oracle 许可证拥有最多的企业,在2018年达到了顶峰 3000 多的ORACLE 上部署了10000个应用,当我们拆分这些服务的时候,我们发现工作量超级大,这个项目超级大。同时传统数据库项目的成本问题非常高,在转换了NOSQL后为什么同样的成本上,运行的工作更多了,效率更高了,这就是我们转换中的一些感悟。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

(注明:这个老头的确是一个演说家,后面说的一些关于数据处理的历史问题,这里就不进行翻译了,大致意思是在数据库领域发展是曲折的,每次的发现数据处理瓶颈的开始都是一个新的技术产生的契机。)

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

在数据库发展的历史中,我们对于关系型数据库的依赖来源与廉价的CPU ,因为关系型数据库强依赖与CPU ,廉价的CPU 给关系型数据库的数据处理带来了强大的,传统数据库的依赖对象是硬件产品,强依赖,而NOSQL 数据库依赖的数据建模,这是这两种数据库产品最大的不同。从成本上,NOSQL数据库本身可以在好的建模设计的基础上,大量减少硬件的投资。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

你们可以看看关系型数据库的推动者,你们看一下上面的图左面的图,这是当今全球最大的数据计算群前500,他们在技术的投入petaflops 或者叫浮点计算,已经不在遵从摩尔定律了CPU的能力被挤压到 10年没有符合摩尔定律的规则了,为什么因为CPU的性能提升趋势已经接近平缓了。为什么因为成本的原因,(这里讲了CPU的成本)为什么他们降低了5纳米的研发速度,因为3纳米的的晶圆每片 3万美元,CPU的成本上升,效率降低。我们能看到的是存储越来越便宜,CPU的成本越来越贵。这不是一个新闻,这是事实。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

Edgar Frank 发明关系型数据模型,其中数据的范式就是要批量的规范化数据,和数据的通信的方式,去除冗余的数据,但是他本人也谈论过反范式的效率,如果你在系统中存在冗余的数据,你将大幅度的对于某些查询在CPU 方面进行提高。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

埃德加·弗兰克·科德(Edgar Frank "Ted" Codd,1923年8月19日-2003年4月18日)是一位英国计算机科学家,曾在IBM工作期间发明了数据库管理的关系模型,为关系型数据库和关系数据库管理系统打下了理论基础。他在计算机科学领域还做出了其他宝贵的贡献,但关系模型作为一种非常有影响力的数据管理通用理论,被广泛提及、分析和赞誉为他最为著名的成就。

这点就印证了在开发NOSQL为数据库基座的应用产品,你可能想的是提高查询的效率, Edgar说运行100次 ,运行1000次这是我关心的成本的问题。每天,每周运行一次,我才不在乎什么运行效率。SQL的口头禅就是,在最重要的地方最大化效率。所以这个人告诉我们上面那张图的标准化成本的 ERD,实际上我们为什么没有遵循 ERD的理论,还是依赖了CPU 效率的提高,满足了我们不使用ERD 某些的理论。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

但是在进行AWS 应用程序的拆分中,我们发现关系型数据库本身和工作负载之间存在着成本效率的差异关系。在我们的工作中,如果你的对未来的查询是什么不清楚的情况下,传统数据库是一个好的解决方案,尤其OLAP,这些是对运行的时间不存在要求的。他们可能是对数据进行分析或帮助后台寻找一些潜在的问题之类的数据查询,没有人关心他是在10毫秒还是100毫秒内返回。

而NoSQL要工作的地方和传统数据库是不存在矛盾的,NoSQL 不构建SQL ,对于大规模的OLTP,我们将为高速查询优化查询的数据模型设计,和MongoDB 一样,通过分片进行扩展,同时从 MongoDB Altas你可以用SQL 来读取MongoDB 来支持OLAP 的工作负载的工作。通过MongoDB 开发人员只需要学习一个 API 就可以了,而不是10个,通过一个API 就可以完成大部分的工作。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

关系数据库是怎么设计,运行和维护的,实际上在我们AWS进行数据库转换中,3000个实例的ORACLE 中,70%的数据查询都是单表查询,实际上很多数据被写入,并没有被读取过,最后我们分析发现10%的查询是JOIN 的查询模式,非常的昂过的查询模式。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

这是一个产品的目录,我们来看看如何将这些产品目录的数据存储在关系型数据库,我们可能会在这些表中分解内容,我们这里会有一个产品表,里面存储不同类型的产品,这些表有一对一的链接,专辑和曲目之间有一对一的链接,在此之间演员之间有多对多的链接,如果我们考虑一下系统如何访问他想要的,按照类别来选择产品,可能按照价格排序或按某些特定的属性进行排序等等,所以我不想要的数据也被卷入到计算中,这就是为什么很多传统数据库前面会放置一个缓存,因为我知道每次查询数据的成本很昂贵,现在我不需要这样了,同时原来我还需要通过ETL 来将数据传输到另一个数据库上,还要确保数据的一致性,现在我也不需要了。以前我对产品的列表需要进行关系的设计和查询,现在我不需要了我只需要一个Documents 就存储了产品的列表。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

以前我们建模讨论时间复杂度的问题,然后把代码编译好,去找关系型数据库,然后你的应用程序 和 你的数据库存储之间的中间层抽象层,数据被分散的存储,在进行重组进行查询,这些查询被转换为时间的复杂度,我在传统数据库中看到的就是一个表和多个表有关系,一对一,一对多,多对多,等等然后在重复上面的额关系,时间复杂度在复杂查询里面,直接爆炸了,这就是传统关系型数据库。

我们在回过头看看NOSQL ,我们首先讨论的是键值的访问模式,当然我们不止讨论这个,应用程序讨论的访问模式有很多种,但是键值的查询的速度是最快的。(后面讲了一个例子,如何将传统数据库中的JOIN 多表,在MongoDB中通过重新设计建模的方式进行数据查询方式的重新设计),比如建立索引表,将原有的多链接查询变为简单的索引查询,通过这些设计,我们降低了CPU 额外的消耗。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

在上周我们的电话会议上,金融机构Temenos 他们的全球金融服务运营完全架设在yugabyte 和 mongodb 两种数据库上,基于之前的传统数据库的硬件需求,与他们在转换新的开发模式和使用mongodb 后,整体的硬件设施,削减了一半,每秒负载 150000 个事务,为什么他们能减少硬件,因为他们把 JOIN 都取消掉了。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

现在越来越多的和我们当初在 AWS 一样的项目,正如我们提到的,一些在转换了开发方和数据库的使用后,在数据库基础架构方面的支出,与2017年一样多,并未增加。就像我所说的,现在企业中最大的IT花销就是数据库,我们能够降低正在执行查询的时间的复杂性我们就可以降低数据库基础的成本。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

实际上如何执行这个计划,其实很简单我们现场有没有DBA ,来回答我一下,开发人员有几个懂SQL 和 懂RDBMS数据库的,或者对于关系数据库的建模他们擅长吗?   台下有声音,NO 。

这些开发根本就不知道怎么建立关系,怎么建立索引,怎么优化,开发很难掌握这些,程序员需要的是对象,对象 ,对象,他们熟知怎么构建对象,我们的数据库就是面向对对象的反映了应用程序需要的数据。看上图的一个曲线,在两个技术都需要学习的情况下,开头是一样的,都很难,但后面,适合的技术给你带来的不是,干了半天不知道那是个什么东西的情况,NOSQL数据库跨越了这个鸿沟,可以说MongoDB 在这个领域属于外太空的科技,但现在还有很多人,不知道也不知道如何使用这项技术。虽然我这样说,但是我不是销售,我讨厌销售,我不会告诉你,来你来消费MongoDB吧, 我所做的事情就是让你们了解有这样的技术,适合你的开发团队并且我们要做的就是和你们聊聊天,然后你们的开发人员恍然大悟,原来还能这样解决问题。这就是我今天所有TALK 和大家分享的关于NoSQL 我知道的东西。

注:后面他说的太快了,跟不上,并且说的与数据库无关,但口才真不是一般的好。

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql

MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...,数据库,mongodb,nosql文章来源地址https://www.toymoban.com/news/detail-729989.html

到了这里,关于MongoDB 2023年度纽约 MongoDB 年度大会话题 -- 企业级从传统数据库到NOSQL,你会更好...的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 企业级数据仓库-理论知识

    大数据中间件 Hive:将SQL转化成分布式Map/Reduce进行运算,也支持转换成Spark,需要单独安装Hive集群才能访问Spark,支持60%的SQL,延迟比较大。 SparkSQL:属于Spark生态圈,Hive on Sqark。 HBase: NoSQL,高并发读,适合表结构频繁变动。 Impala: MPP架构的数据查询引擎,低层兼容Hive、Spark SQL,

    2024年02月07日
    浏览(46)
  • SpringMVC:企业级解读(一)

      此文章意在为大家更加深入的了解SpringMVC,但是没有涉及到源码层面,如果大家想要观看这部分的文章,希望大家能够给我点赞、收藏加关注,我们继续加更源码级别的SpringMVC文章 如果没有了解SpringMVC框架的朋友,建议大家观看我的上一篇文章 SpringMVC框架:基础万字详解

    2024年01月23日
    浏览(70)
  • Git---企业级开发模型

    我们知道,一个软件从零开始到最终交付,大概包括一下几个阶段 : 规划、编码、构建、测试、发布、部署和维护. 最初程序比较简单,工作量也不大.程序猿一个人可以完成所有阶段的工作.但随着软件产业的日益发展壮大,软件的规模也在逐渐变得庞大.软件的复杂度不断攀升,一个

    2024年02月13日
    浏览(52)
  • 详述Hive企业级优化

    一、问题背景 hive离线数仓开发,一个良好的数据任务,它的运行时长一般是在合理范围内的,当发现报表应用层的指标数据总是产出延迟,排查定位发现是有些任务执行了超10小时这样肯定是不合理的,此时就该想想如何优化数据任务链路, 主要从以下几个角度来考虑问题

    2024年02月16日
    浏览(36)
  • Kubernetes 企业级高可用部署

    单master节点的可靠性不高,并不适合实际的生产环境。Kubernetes 高可用集群是保证 Master 节点中 API Server 服务的高可用。API Server 提供了 Kubernetes 各类资源对象增删改查的唯一访问入口,是整个 Kubernetes 系统的数据总线和数据中心。采用负载均衡(Load Balance)连接多个 Master 节

    2024年02月12日
    浏览(51)
  • 企业级大数据体系结构

    作者:禅与计算机程序设计艺术 企业级大数据是指超大规模数据的集合,是管理者、分析师、决策者所需要分析和处理的一种信息资源。基于海量数据的复杂性及其多样性,实现数据可视化、数据挖掘、机器学习等数据处理功能的大数据平台也逐渐成为行业关注热点。因此,

    2024年02月06日
    浏览(46)
  • 一、企业级架构之LNMP

    LNMP = Linux + Nginx + MySQL + PHP (1) 克隆一台centos7虚拟机,修改 IP 地址 和 UUID 编号。 IP 为 10.1.1.10,UUID 修改后三位。 (2) 设置主机名称,绑定IP地址与主机名称到/etc/hosts文件。 (3) 关闭防火墙和selinux。 (4) 关闭NetworkManager服务。 (5) 配置 yum 源。 配置阿里镜像源。 (6) 安装ntpdate,进

    2024年04月10日
    浏览(46)
  • ELK 企业级日志分析系统

    ELK平台是一套完整的日志集中处理解决方案,将 ElasticSearch、Logstash 和 Kiabana 三个开源工具配合使用, 完成更强大的用户对日志的查询、排序、统计需求。 ●ElasticSearch:是基于Lucene(一个全文检索引擎的架构)开发的分布式存储检索引擎,用来存储各类日志。 Elasticsearch 是

    2024年02月07日
    浏览(49)
  • Go 企业级gRPC原理

    Go 企业级gRPC, 又名:Go企业级应用到底层开发(第5天) 这个系列是准备做从go基础到Web开发,系统编程,云原生应用, 网络编程, 工具和脚本开发, 机器学习,CGo编程, 还有最后的编译器层级底层的分析,点上关注,方便每天阅读 一键三连是我最大的动力。谢谢~~ gRPC简介

    2024年01月24日
    浏览(52)
  • ELK企业级日志分析系统

    目录 一、ELK理论 1、日志服务器 2、ELK日志分析系统 3、日志处理步骤 4、ELK简介 5、为什么要使用ELK 6、完整日志系统基本特征 7、ELK的工作原理 8、总结 二、ELK集群之部署elasticsearch集群部署 1、环境准备 2、部署elasticsearch 软件 2.1 修改elasticsearch 主配置文件 2.3 创建数据存放

    2024年02月02日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包