性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

这篇具有很好参考价值的文章主要介绍了性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

通过 API 对外提供数据服务是大部分企业中比较常见的数据应用方式,对于 API *台管理者、开发者和调用者来说,API 的调用性能、安全性和稳定性是在*台选型时最需要考虑的三个因素。

袋鼠云API开发及管理*台【数栈-数据服务 DataAPI】通过多种手段标准化管控服务,可完成从 API 创建、发布、申请/审批、调用的全生命周期管控,至今已经服务于300+客户。本文将为大家分享 DataAPI 是如何实现这三方面保障的。

DataAPI 的调用性能

在数据库和网络状况良好的情况下,DataAPI 目前的 API 调用性能在 5k QPS 时单次调用耗时最小可在 30-80ms 内。*期*台不仅从多个后端调用链路环节做了优化,也在产品层支持了一系列的功能,通过性能可观测、可配置等方式进行了全面的性能提升。

调用结果缓存

API 支持开启数据缓存,可选择用 HBase/Redis 存储缓存结果,在缓存失效策略上,DataAPI 采用 LFU(最不经常使用页置换算法),根据数据更新频率可自定义缓存清理周期与时间。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

针对源数据更新频率不高,且存在多次相同输入参数重复查询的情况,开启缓存可缩短调用链路,显著降低调用耗时。

服务编排

复杂查询逻辑的实现可用带 Java/Python 函数的服务编排代替 SQL 来完成,以提升查询效率。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

入参格式校验

对于一些有明显格式规则的输入参数,例如手机号、身份证号等,入参内容如果不满足相应格式要求则会导致一定无法正确返回结果。

因此我们可以为高并发 API 的这些参数配置正则校验规则,在数据库执行查询语句前由 Gateway 先进行内容校验,若不满足格式要求则直接返回查询失败,减少无效查询。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

调用链路耗时分析

创建 API 的测试调用环节,可通过调用分析查看 API 调用过程所经过的环节、执行内容,以及每条执行内容的耗时瀑布图,用户可直观地看到性能损耗的关键点,以便快速调整。

例如 Server 端的数据解密、行级权限等校验耗时整体明显增加时,可能是 Server 资源到了瓶颈,可进一步排查 Server 端的负载;数据源查询耗时增加则可能是当前数据源查询并发变高。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

DataAPI 的安全性

安全层面,DataAPI 从开发及调用两个层面进行了全方位的保障。

开发安全

● 服务分组

重要 API 在发生逻辑变更时,可以通过服务分组来测试新逻辑的可靠性,通过类似 AB测试的方式将可控比例范围内的流量导向新逻辑,出现问题时立即调整分流比例切换回原逻辑,能够在用户无感知的情况下最大程度降低对业务侧的影响。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

● 角色权限管理

*台内置多个固定角色,区分了 API 查看、开发、申请调用权限、管理等功能的场景,能满足90%的用户需求。另外管理员可根据企业内部权限管控要求调整固定角色权限点或者新增自定义角色,灵活把控用户权限配置。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

● 测试/生产项目隔离

对于 API 开发投产安全性要求一般的场景,流程一般是 API 创建-提交网关测试-发布,发布后可直接生产调用。如果企业内部对开发和生产环境进行了严格隔离,也可在开发环境完成开发测试后,通过绑定项目一键发布或导出导入式发布复制到生产环境。这种方式进一步规范了生产 API 的变更流程,减少了误操作发生率。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

调用安全

● 调用申请审批

DataAPI 租户层的 API 市场汇集了各个项目发布的 API,实现 API 一定范围内的共享时也对 API 调用做了权限管控,用户在申请 API 调用权限时可控制其调用次数、周期及字段粒度的输出参数访问。对于某用户已经获得审批通过的 API,管理员也可在到期前进行权限回收。权限申请与审批操作方便、管理粒度细、灵活度高。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

● 2种调用权限认证方式

· API-TOKEN / USER-TOKEN:每个用户的单个 API 一个 TOKEN / 每个用户的所有 API 一个 TOKEN,用户对某个 API 的调用权限申请通过时*台会提供 TOKEN 信息, TOKEN+API URL 即可正常调用 API,适用于对调用安全要求一般的场景

· AK/SK:通过密钥和加密签名的方式对 API 的调用进行认证,安全性保障更好

● 数据传输加密

· RSA+AES:支持对大量数据加解密的同时,保证了加解密速度,应用于一些对于用户个人信息或其他敏感信息加密的安全性要求较高的场景

· SM2+AES:SM2 在安全、速度等方面较 RSA 更优,可按企业内部要求选择数据传输加密方式

● 行级数据权限控制

用户可在数据源层面配置用户数据访问行粒度的权限,然后将这个权限控制应用到指定的 API,实现更精细化的权限管控。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

● 异常调用的服务熔断

针对一些高并发调用的 API 可以配置熔断策略,当单位时长的异常调用达到一定的次数等条件时,为保证 API 整体服务不瘫痪,DataAPI 会对该 API 从 Gateway 处开启一定时长的熔断,经过熔断时长后探测服务健康状态并进行自动恢复。

性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航

● IP 地址安全组

IP 地址安全组中可划分 IP 黑名单与白名单,对于有调用 IP 约束的 API,确保不会在非法 IP 中被调用。

DataAPI 的稳定性

DataAPI 的部署包含2台web、2台Server 及2台Gateway(每台默认16c32g),版本升级可通过数栈自带的运维升级工具 EasyManager 实现快速*滑升级。当业务增长时,通过简单增加 Server 和 Gateway 部署台数即可稳定支持更高的调用并发。

DataAPI 的后续规划

接下来的日子 DataAPI 将继续深耕性能与安全层的优化,为企业业务提供更加稳定、高效且安全的支持。下面是我们的主要规划:

· 调用性能:全链路性能优化、数据库资源组划分保障重要业务调用

· 调用安全:数据输出动态脱敏,保护敏感信息

《数栈产品白皮书》:https://www.dtstack.com/resources/1004?src=szsm

《数据治理行业实践白皮书》下载地址:https://www.dtstack.com/resources/1001?src=szsm

想了解或咨询更多有关袋鼠云大数据产品、行业解决方案、客户案例的朋友,浏览袋鼠云官网:https://www.dtstack.com/?src=szbky

同时,欢迎对大数据开源项目有兴趣的同学加入「袋鼠云开源框架钉钉技术qun」,交流最新开源技术信息,qun号码:30537511,项目地址:https://github.com/DTStack文章来源地址https://www.toymoban.com/news/detail-707999.html

到了这里,关于性能、安全和稳定,袋鼠云数据服务平台 DataAPI 为企业 API 保驾护航的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 物联网数据服务平台

    随着物联网技术的迅猛发展,海量数据的产生和应用成为推动工业数字化转型的核心动力。在这个数据为王的时代,如何高效地收集、处理、分析并应用这些数据,成为了企业关注的焦点。物联网数据服务平台应运而生,为企业提供了全面、高效的数据解决方案。 一、物联网

    2024年04月10日
    浏览(49)
  • 首批!天翼云大数据平台率先通过信通院无服务器架构大数据平台测试

    近日, 天翼云大数据平台 顺利完成中国信通院无服务器(Serverless) 架构大数据平台测试,成为 首批通过该测试的单位之一 。 本次测试依据《基于无服务器(Serverless)架构的大数据平台技术要求》展开。该要求是中国信通院云计算与大数据研究所依托中国通信标准化协会大数

    2024年02月04日
    浏览(34)
  • 238页9万字大数据治理与服务平台建设及数据服务实施方案(word)

    本资料来源公开网络,仅供个人学习,请勿商用,如有侵权请联系删除。 1.1.1nbsp; 业务需求分析 根据对招标要求的理解,建设业务需求主要包括如下几个方面: (1)建设完善数据库:通过人口、法人、空间地理库数据源整合开发,并对接电子证照库。实现对人口、法人、空

    2024年02月02日
    浏览(31)
  • 腾讯音乐如何基于大模型 + OLAP 构建智能数据服务平台

    本文导读: 当前,大语言模型的应用正在全球范围内引发新一轮的技术革命与商业浪潮。腾讯音乐作为中国领先在线音乐娱乐平台,利用庞大用户群与多元场景的优势,持续探索大模型赛道的多元应用。本文将详细介绍腾讯音乐如何基于 Apache Doris 构建查询高效、实时统一分

    2024年02月10日
    浏览(34)
  • 服务器管理平台开发(2)- 设计数据库表

    本篇文章主要对数据管理平台数据库表设计进行介绍,包括单库多表设计、SQL语句、视图构造等 设备品牌、序列号、型号等使用业务主表进行记录,逻辑磁盘、PCI设备可能出现1对N的情况,分别使用PCI设备表、Mac地址表、逻辑磁盘表、应用程序表、登录日志表进行记录 构建虚

    2024年01月22日
    浏览(51)
  • 基于容器技术和服务发现的全新大数据平台弹性伸缩方法

    随着科技的不断发展,各个行业都在不断地数字化和智能化。在这个过程中,大数据技术成为了许多行业的重要支撑。而随着大数据技术的普及,行业分类和设备装置的不断更新换代,弹性伸缩成为了一个不可避免的问题。本文将介绍基于服务发现和容器技术的大数据平台弹

    2024年02月06日
    浏览(35)
  • 金融监管平台系统-一站式监管服务体系、强大数据监管模型

    一、金融监管平台系统简介 金融监管平台是为协助金融办加强日常监管效率,解决监管存在的问题,帮助金融办进一步加强对小额贷款公司的日常监管,及时掌握涉及小额贷款公司的业务监管信息,有效防范金融风险而设计的一套系统。监管平台的建立除了为金融办等主管部

    2024年02月09日
    浏览(49)
  • [方案实操|数据技术]数据要素十大创新模式(1):基于区块链的多模态数据交易服务平台

    “  区块链以其公开共享、去中心化、不可篡改、可追溯和不可抵赖等优势,吸引了包括金融业、医疗业和政府部门等众多利益相关方的极大兴趣,被认为是解决数据安全交换问题的合适方案。 ” 武汉东湖大数据科技股份有限公司凭借 基于区块链的多模态数据交易服务平台

    2024年04月17日
    浏览(32)
  • 分享一个python基于数据可视化的智慧社区服务平台源码

    💕💕 作者:计算机源码社 💕💕 个人简介:本人七年开发经验,擅长Java、Python、PHP、.NET、Node.js、微信小程序、爬虫、大数据等,大家有这一块的问题可以一起交流! 💕💕 学习资料、程序开发、技术解答、文档报告 💕💕JavaWeb项目 💕💕微信小程序项目 💕💕Python项目

    2024年02月09日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包