文鼎创智能物联云原生容器化平台实践

这篇具有很好参考价值的文章主要介绍了文鼎创智能物联云原生容器化平台实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

作者:sekfung,深圳市文鼎创数据科技有限公司研发工程师,负责公司物联网终端平台的开发,稳定性建设,容器化上云工作,擅长使用 GO、Java 开发分布式系统,持续关注分布式,云原生等前沿技术,KubeSphere Contributor,KubeSphere 社区用户委员会深圳站委员。

公司简介

深圳市文鼎创数据科技有限公司创立于 2006 年,是全球领先的线上身份认证解决方案提供商,专注网络身份认证,数据安全领域,坚持稳健经营,持续创新、开放合作,在金融电子化、政府、企业办公等应用中提供解决方案,成为众多国有商业银行、全国性股份制银行、城市商业银行、农村商业银行、各省市税务、政府、各大 CA 机构以及跨国企业的合作伙伴,累积服务近亿用户,不断满足客户差异化需求。

公司多年来持续创新,申请了大量的发明专利、实用新型专利和产品外观专利;登记了多项计算机软件着作权,同时是国家级高新技术企业;拥有商用密码产品型号证书、密码检测证书、银联认证证书、ISO9001:2015 国际质量管理体系认证及 ISO14001 环境管理体系认证;产品通过了 CE/FCC 认证、RoHS 认证。

公司作为国际线上快速身份验证联盟(FIDO)的核心成员之一,致力于实现全球统一的在线验证标准,我们将运用该技术为不同地区的人们提供享有平等的安全网络世界的权利。

背景介绍

“文鼎创智能物联”是深圳市文鼎创数据科技有限公司针对物联网应用,推出的物联网解决方案,方案包含统一的物联网服务平台、”云打印机“、”收款云音箱“、”收款云扫码盒子“等旗下产品,为用户的数据安全保驾护航。

作为一家 TO B 解决方案的硬件提供商,“硬件为主,软件为辅”是公司长期以来的开发模式,因此前期在对服务端的开发、部署、架构设计重视不够。传统的项目停留在单机(虚拟机)部署,人工打包上传,不仅费时费力,还容易出错,造成服务的不可用。

在拥抱 K8s 之前,我们也尝试过 docker-compose 的方案,相对于人工打包部署,docker-compose 也确实给我们带来了一些便利:

  1. ALL-IN-ONE,提供一键式的软件部署方案,无需执行繁琐的部署流程;
  2. 隔离了宿主机系统的差异性;
  3. 减少了运维人员进行版本迭代的操作,降低操作失误的可能性。

在面向物联网行业推出新产品,新解决方案之后,对服务的稳定性,以及可靠性带来了新的挑战,现有的开发模式逐步跟不上业务的迭代需求,为此我们迫切需要打破现有的框架,探索新的一套软件迭代流程。

选型说明

在决定拥抱云原生之时,我们对市面上的容器管理平台进行了调研,发现国外 Rancher 用户较多,国内 KubeSphere 位居前列。我们对容器管理平台的选型有几个标准:

文鼎创智能物联云原生容器化平台实践

  1. 生态:一个开源项目的生态是否完善很重要,周边配套的工具能带来极佳的使用体验和可维护性。
  2. 社区活跃度:官方仓库 Issue 或问答社区是否回应及时,代码提交是否活跃?
  3. 商业公司或基金会支持:是否有商业公司或开源基金会支持,如果为个人项目,后续停止维护,则可能会给用户带来的一定的风险。
  4. 技术栈:使用的技术栈与团队是否吻合,是否有能力解决和维护?
  5. 用户体验:是否有 UI 操作界面,界面是否美观,使用流畅?
  6. 本土化:是否做了一些本土化的优化,符合国人的使用习惯?

在调研选型时,我们发现 KubeSphere 能充分满足的我们的要求。KubeSphere 团队开源的 KubeKey 工具,能帮助我们快速搭建一个 KubeSphere 集群,省去了繁琐且复杂的部署流程,OpenELB 项目则为我们提供了本地集群负载均衡的解决方案。

在使用过程中发现的问题,在中文问答社区基本都能找到对应的解决方案。KubeSphere 的控制台简化了 Kubernetes 服务的部署,使得团队一些没有 K8s 使用经验的成员也能快速上手,用过的同事都说好。

目前架构

目前采用微服务设计,开发语言以 Golang、Java 为主,服务之间通信使用 gRPC。

文鼎创智能物联云原生容器化平台实践

生产环境使用两个腾讯云 CLB 分别接入来自业务和物联网终端的流量。整个业务服务部署在腾讯云 TKE 集群,并使用 KubeSphere 来管理应用的日常发布。而集群的基础设施,本着“能买就买,实在不能买就自建”的原则(并不是不差钱,而是小公司运维压力大)。之所以没有使用 TKE 的控制台来管理应用的发布,主要是 TKE 的控制台体验并不是很友好,另外一个很重要的原因,应用商店对第三方 Helm 仓库支持很差,无法充分利用 Helm 的生态。

文鼎创智能物联云原生容器化平台实践

实践过程

硬件资源

测试环境:10 台 ESXI 虚拟机,自建 Kubernetes 集群。

生产环境:7 台 腾讯云 CVM 节点,Kubernetes 使用腾讯云托管 TKE 集群。

文鼎创智能物联云原生容器化平台实践

存储方案

测试环境:使用 3 台 ESXI 虚拟机作为分布式存储 Ceph 的 OSD 节点。

生产环境:出于成本和稳定性的考虑,使用腾讯云 CBS 作为 K8s 存储方案。

最小化安装

由于生产环境和测试环境已经有一些外部服务,比如 Prometheus 和 Logging,为了最大化利用现有资源,在部署 KubepShere 采取了最小化安装。

文鼎创智能物联云原生容器化平台实践

值得一提的是,Monitor 并不是可插拔组件,即使最小化安装,KubeSphere 依然会默认安装,在生产环境中,安装 TKE 监控的 prometheus-operator 会与其冲突,需要关闭 KubeSphere 的 Prometheus 或者手动卸载。

DevOps

在早期开发阶段,版本迭代是一件非常痛苦的事情,开发人员在本地编译打包后人工上传到服务器进行部署。在经历了多次各种环境差异,人工操作失误教训后,团队下定决心改变现有的流程,决定搭建适合团队自身的 DevOps 体系。

文鼎创智能物联云原生容器化平台实践

  1. 持续集成(CI):开发在每次提交代码之前都进行 CI,以确保代码的质量和一致性。这包括运行单元测试,代码静态分析,编译和构建过程等。当 CI 失败时,开发立即修复代码并重新提交。
  2. 持续交付(CD):一旦代码通过了 CI 流程,就将其交付给测试团队进行测试。测试团队进行测试以确保产品的质量。在测试环境,使用了 Coding 的自定义节点作为 CI 的自动化构建,CI 通过后通过脚本自动更新 KubeSphere 的镜像版本。在生产环境,由于涉及发布评审流程,配置变更,各个业务团队的协调,目前暂时还是交由运维人员手动变更应用版本进行发布。
  3. 监控和警报:一旦代码被部署到生产环境,对其进行监控。监控可以帮助团队快速发现和解决问题,确保产品的可用性和性能。

目前的 DevOps 实践,主要解决了团队以下的痛点:

  1. 统一编译环境:规定项目内应编写 Dockerfile,使用 Docker 容器内的编译环境进行编译,同时使用 Gitlab Runner 通过代码提交事件触发代替开发机本地编译,从而隔离各个开发机环境的差异。
  2. 发布版本可追溯:早期项目版本管理十分随意,全凭开发人员心情命名。导致出现问题时无法快速定位。为此,我们约定在 CI 构建时,镜像版本需要满足特定的命名格式,如:${VERSION}-${ENV}-\${CI_NUMBER},这种命名格式可以帮助我们快速定位到某个环境出现问题某次 CI 构建的版本。
  3. 平滑迭代:早期项目使用单机单体部署,在进行迭代时,常常有短时间的服务不可用,导致流量损失。在进行容器化改造后,利用 Kubernetes 的探针,可以进行服务的平滑更新,并且在服务状态不健康时,能自动重启,无需人工介入,大大提升了服务的可用性。
  4. 运维效率:充分发挥 Kubernetes 的运维体系和云原生的可观测性实践,降低了多业务多环境运维的压力。在服务故障发生时,能够及时感知。

使用效果

流水线配置

文鼎创智能物联云原生容器化平台实践

流水线使用了 Coding 的方案,有以下几方面的考虑:

  1. 能够深度融合企业微信,在 CI 过程,有任何问题能够及时通过 IM 工具通知到开发;
  2. 配套工具完善,官方的 Jenkins 有点跟不上云原生的发展,需要安装一系列的插件才能满足需求,配置过程也很繁琐。

应用部署

文鼎创智能物联云原生容器化平台实践

“文鼎创智能物联”项目已全部使用 Helm 应用发布,在使用过程,发现 KubeSphere 一个比较不友好的体验,如果升级应用因 yaml 文件配置错误导致应用升级失败,会无法再次升级。在生产环境中,应用无法升级是一个很糟糕的问题,发现该 Bug 后,已提交了修复代码给社区并合并 fix: can not re-upgrade helm application in a failed state。

集群资源监控

文鼎创智能物联云原生容器化平台实践

KubeSphere 内置的监控系统,满足运维人员日常对集群健康状态的巡检,同时 KubeSphere 提供了多个层面的监控,针对 namespace 和服务本身,团队使用频次较高的是服务监控,以便开发人员对自身发布的服务的资源使用情况有所了解。

未来规划

  1. “文鼎创智能物联”作为公司探索的新项目已全面完成容器化工作,运行在 KubeSphere 集群,未来打算将历史遗留的 TO B 项目进行容器化改造和迁移到 KubeSphere 集群,提升项目的可维护性和可用性。
  2. 探索 Service Mesh 方案,进一步提升服务的平稳发布和可观测性。

本文由博客一文多发平台 OpenWrite 发布!文章来源地址https://www.toymoban.com/news/detail-459551.html

到了这里,关于文鼎创智能物联云原生容器化平台实践的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【云原生|Docker系列第4篇】Docker的容器的入门实践

    欢迎来到云原生系列的第4篇博客!在前面的两篇博客中,我们已经学习了Docker镜像的基本概念和入门实践。本篇博客将带您深入了解Docker容器,探索如何使用Docker容器来构建、运行和管理应用程序。无论您是新手还是有一定经验的开发者,通过本篇博客的实践指导,您将能够

    2024年02月17日
    浏览(50)
  • 云原生之容器编排实践-基于CentOS7搭建三个节点的Kubernetes集群

    前面采用 minikube 作为 Kubernetes 环境来体验学习 Kubernetes 基本概念与操作,这样避免了初学者在裸金属主机上搭建 Kubernetes 集群的复杂度,但是随着产品功能的逐渐完善,我们需要过渡到生产环境中的 K8S 集群模式;而在实际上生产环境之前,我们先在本地虚拟机上进行了环境

    2024年02月19日
    浏览(52)
  • 字节跳动云原生大数据平台运维管理实践

    云原生大数据是大数据平台新一代架构和运行形态。随着字节跳动内部业务的快速增长,传统大数据运维平台的劣势开始逐渐暴露,如组件繁多,安装运维复杂,与底层环境过度耦合;对业务方来说缺少开箱即用的日志、监控、告警功能等。在此背景下,我们进行了一系列云

    2024年02月11日
    浏览(38)
  • 中科金财区块链平台容器化最佳实践

    作者:陈超,北京中科金财科技股份有限公司研发中心技术经理,精通Java/Go等开发语言,熟练掌握 Kubernetes、 Docker、微服务架构,了解比特币、以太坊等公链技术体系,了解 Fabric 等联盟链技术体系,精通泛金融数字化 解决方案。 KubeSphere 开源社区的伙伴们,大家好。我是北

    2024年02月02日
    浏览(38)
  • 云原生之容器编排实践-在K8S集群中使用Registry2搭建私有镜像仓库

    基于前面搭建的3节点 Kubernetes 集群,今天我们使用 Registry2 搭建私有镜像仓库,这在镜像安全性以及离线环境下运维等方面具有重要意义。 Note: 由于是测试环境,以下创建了一个 local-storage 的 StorageClass ,并使用本地磁盘的方式创建使用 PV ,实际建议使用 NFS 。 共用到了三台

    2024年02月19日
    浏览(48)
  • 最佳实践-使用Github Actions来构建跨平台容器镜像

    公众号「架构成长指南」,专注于生产实践、云原生、分布式系统、大数据技术分享。 最近在写K8s的相关系列文章,因为有涉及到镜像构建,发现在Mac m1的Arm架构下构建的部分镜像,没法在X86架构下使用,不兼容。 尝试网上介绍的各种方式,都已失败告终,效果如下: 最终

    2024年02月05日
    浏览(58)
  • 消除“马路黑洞”,计讯物联智能井盖综合管理系统平台有绝招

    窨井盖作为市政公用设施的重要组成部分,一旦出现松动、损坏等问题时,不仅会影响市容市貌,还会给道路上的车辆、行人带来安全隐患,对社会安定与安全造成极大负面影响。 痛点分析 01 由于地下管线错综复杂、窨井盖分布广泛,加之信息化水平低下,单纯依靠人工巡检

    2024年02月08日
    浏览(59)
  • 如何用smardaten90天快速开发并上线智慧空间loT物联平台?

    大家好,我是小白白,前段时间一位好友接手了一个“烫手山芋”开发任务,77万㎡的科技园区需要打造智慧空间物联平台。要求接入600+园区设备,处理15000+日数据量,在打造整体IOT物联底座之上,构建起整个园区的 EBA 业务管理生态。 公司历经了大半年考察整个市场的loT平

    2024年02月11日
    浏览(37)
  • 微信小程序+esp8266NodeMcu(cp2102)+onenet物联平台(二)

    目录 一、搭建环境 1、esp8266NodeMcu(cp2102)驱动安装  2、为esp8266NodeMcu搭建Arduino开发环境 3、安装PubSubClient库 二、编写代码 上一篇文章微信小程序+esp8266NodeMcu(cp2102)+onenet物联平台(一)介绍了onenet平台注册及设备连接,接下来介绍,如何使用Arduino IDE编写代码,控制esp8266,使用

    2024年02月01日
    浏览(50)
  • 打破数据孤岛!时序数据库 TDengine 与创意物联感知平台完成兼容性互认

    新型物联网实现良好建设的第一要务就是打破信息孤岛,将数据汇聚在平台统一处理,实现数据共享,放大物联终端的行业价值,实现系统开放性,以此营造丰富的行业应用环境。在此背景下,物联感知平台应运而生,成为推动智慧城市建设,强化物联网感知设施跨行业、跨

    2024年02月11日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包