3 华为鲲鹏HCIP-性能优化23+开发实践7

这篇具有很好参考价值的文章主要介绍了3 华为鲲鹏HCIP-性能优化23+开发实践7。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

5 鲲鹏应用性能优化:23

6 鲲鹏应用开发实践:7

1 鲲鹏应用性能优化:

1 CPU内存优化:

NUMANon Uniform Memory Access

非统一内存访问架构(NUMA)是一种计算机内存设计,用于多重处理,其中内存访问时间取决于内存相对于处理器的位置。处理器可以利用NUMA的优势,优先访问本地内存(速度更快),而不是访问非本地内存(这意味着它不会访问另一个处理器的本地内存或处理器之间共享的内存)。

NUMA-AWARE亲和性资源,比较合理的规划是:优先使用本NUMA节点内存

NUMA-AWARE亲和性资源优化,主要是为了:减少内存访问时延。

0 下面哪个方法,不属于CPU/内存调优手段?修改文件系统参数

正确:

调整内存大小;

开启或关闭CPU预取;

减少跨NUMA访问内存。

鲲鹏性能优化,性能优化,华为云

 鲲鹏性能优化,性能优化,华为云

鲲鹏性能优化,性能优化,华为云

鲲鹏性能优化,性能优化,华为云

1 以下哪个不属于NUMA架构的特点:每个核都是对等的,所有的核通过总线访问所有

正确:

内存在物理上是分布式的;

非统一内存访问;

不同的核,访问不同内存的时间不同

2 以下哪个不是毕昇编译器,性能优化的方法?GC优化

正确:

高性能编译算法;

加速指令集;

AI迭代调优

鲲鹏性能优化,性能优化,华为云

1 软件加速库:GLibc、AVX2Neon、HyperScan

1 软件加速库-GLibc:
Glibc Linux 系统中最底层、最基础的软件库,几乎其它任何运行库都会依赖 Glibc
优化后的 Glibc 已合入 GNU 社区,目前 Glibc 2.31 的主干版本已发布(合入鲲鹏CPU相关优化),且已被 openEuler 收编
 2 软件加速库AVX2Neon:

AVX2Neon是一款接口集合库,它将AVX指令封装成独立的接口模块,在多媒体、机器学习等需要SIMD指令加速的场景中,自动使用NEON替换对应的AVX

 AVX2Neon使用方式:

方式一:适配函数以头文件方式集成到Porting Advisor工具,通过工具识别迁移点,并提供一键式快速迁移(将依赖Intellintrinsic的应用快速迁移到鲲鹏生态)

方式二:鲲鹏开发人员通过开源社区下载AVX2Neon源码,集成到自己的软件中

3 软件加速库HyperScan,错误的是:块匹配模式是网络场景下跨报文匹配设计的特殊匹配方式

基于官网5.2.0版本优化,使用ARM Neon指令加速。使用数据预取、分支预测、结构重排及循环展开等多种优化手段实现加速。

Hyperscan 是一款高性能的正则表达式匹配库,通过大量高效算法及 SIMD 指令来实现高性能匹配。
Hyperscan 有以下使用场景:
正则表达式编译预置:正则表达式规则由集成使用 Hyperscan 的应用负责配置导入,考虑到性能问题,采用在初始化阶段导入并编译解析并缓存, Hyperscan 采用图结构的内存存储, 运行时为扫描功能提供匹配规则,以实现高性能匹配查询。
块模式匹配:适用于对一段现成的完整数据进行匹配,匹配结束即返回结果。
流模式匹配:流模式是网络场景下跨报文匹配设计的特殊匹配模式。在流模式下, Hyperscan 保存当前数据匹配的状态,并以其作为接收到新数据时的初始匹配状态。解决了数据完整性问题,极大地简化用户网络流处理的过程。

2 压缩库 Snappy、ZSTDGZIP

1 Snappy: Google 基于 LZ77 的思路用 C++ 语言编写的快速数据压缩与解压程序库
ZSTD : FaceBook 开源到压缩库,同时兼顾压缩比、性能的压缩库,压缩比领先传统的 deflate 算法
gzip :基础压缩软件,用于文件的无损压缩,基于 deflate 算法实现
l 压缩库可应用于数据库、分布式存储、大数据和 Web 服务等场景
以下哪个不属于压缩库: Glibc (Glibc是软件加速库)

类别

代码仓

链接

开发者贡献方法

硬加速库KAE

KAEdriver

GitHub - kunpengcompute/KAEdriver: Driver for Kunpeng Accelerator Engine (KAE)

通过github平台fork项目,修改代码并提交PR,成为项目的contributors

KAE

GitHub - kunpengcompute/KAE: A high-performance hardware acceleration algorithm library of OpenSSL engine based on Kunpeng processor

KAEzip

https://github.com/kunpengcompute/KAEzip

软加速库

AvxToNeon

GitHub - kunpengcompute/AvxToNeon: Encapsulate the frequently used AVX instructions as independent modules to reduce repeated development workload.

hyperscan

https://github.com/kunpengcompute/hyperscan

snappy

GitHub - kunpengcompute/snappy: A fast compression/decompression library

gzip

GitHub - kunpengcompute/gzip: GNU Gzip with Kunpeng optimization.

zstd

https://github.com/kunpengcompute/zstd

2 基于磁盘和网络的内存优化:

1 磁盘预取可以充分利用磁盘带宽,在高频率顺序读场景,可以提高cache命中率;

2 网卡中断产生频率会影响应用的吞吐和延迟。

        降低网卡中断触发频率,可能会导致数据包接发收时延提高

3 调整网卡中断聚合,可以提高或降低网卡中断产生的频率,在低时延和高吞吐取平衡点

Frames=3:收到3个包产生一个硬中断

Usec=5:每隔5s产生一个硬中断

将网卡eth1的终端模式设置为每隔5微秒,产生一次硬中断:ethtool -C eth1 tx-usecs 5

将网卡eth1的终端模式设置为每隔3个包,产生一次硬中断:ethtool -C eth1 tx-frames 3

4 多队列网卡 - 网卡中断绑核

 5 鲲鹏调用哪个库进行压缩硬加速?ZLib

3 应用层性能优化:软件调优的本质是充分发挥硬件性能

多核CPU,提高并发:

鲲鹏 CPU 核数较多,则应提高应用的并行线程,提高 CPU 的利用率

大内存,数据缓存:

针对当前服务器内存配置较高,在内存充裕的情况下,可以增加数据缓存,从而提高数据访问的性能

磁盘,异步读写:

                对磁盘带宽有限而引起的读写阻塞,可使用异步IO读写的方法,可以减少磁盘IO的等待,达到提高性能的效果

1 锁机制:哪个应用层优化可以避免内存伪共享:大锁变小锁

无锁编程
大锁变小锁
高性能原子操作指令

2 Cache:

鲲鹏 920 CacheLine 大小为 128 字节
读和写频繁的变量分别放入不同 Cacheline ,避免伪共享

通过锁机制提高并发案例 - Tcmalloc锁优化

Tcmalloc 使用线程缓存,尺寸小于 256 K 的小内存申请均由 ThreadCache 进行分配;通过 ThreadCache 分配过程中不需要任何锁,可以极大的提高分配速度。

4 下列哪项不是在性能调优前必须要做的步骤:通过华为鲲鹏HCIP认证

性能调优前必须要做的:

        保证客户端与服务端之间的组网不是瓶颈;

        保证组件依赖的物理资源已经充分分配;

        保证客户端压力足够大

4 鲲鹏解决方案

1 数据库性能优化

1 查看MySQL数据库运行过程中的热点函数来定位数据库瓶颈:perf

鲲鹏性能优化,性能优化,华为云

2 大数据性能优化

1 下列哪些不是大数据调优的原因?数据存储类型需要适配

属于大数据调优原因:

        性能瓶颈因硬件配置而异,需根据实际硬件配置进行针对性的调优;

        上下游组件的资源需要合理配置;

        组建参数的默认值保守

鲲鹏性能优化,性能优化,华为云

2 HBase调优参数举例子:哪个参数能决定分配给Container的内存:

yarn.nodemanager.resource.memory-mb

其他:

鲲鹏性能优化,性能优化,华为云

 3 以下哪项不是鲲鹏Spark算法库的优化思路?使用毕昇JDK

正确的是:

增大并行任务数量;

充分发挥内存空间优势;

降低算法复杂度

鲲鹏性能优化,性能优化,华为云

3 分布式存储性能优化

1 分布式存储适用场景

鲲鹏性能优化,性能优化,华为云

2 不会影响分布式存储(Ceph)性能因素: GPU

会影响性能:

-CPU/ 内存
CPU IO 、网络、内存
操作系统参数
-磁盘
Sata / Sas
Nvme
-网络
前后端网络分离
网络带宽
-分布式组件参数
内存使用上限, cache tier 缓存 / read write 缓存,数据盘写入的均衡性,组件的部署数量,线程数量

鲲鹏性能优化,性能优化,华为云

 3 分布式存储性能调优:

鲲鹏性能优化,性能优化,华为云

调优方向

具体调优措施

可解决的性能问题表现

CPU

CPU设置性能模式

CPU计算能力提升

业务进程绑核

减少进程上下文切换的频率

KAE硬件加速库使能

卸载部分CPU算力到加速器

磁盘

使用nvme盘做db/wal元数据加速

元数据访问频率高导致整体性能差

网络

网卡中断绑核

网络中断在各个cpu之间均衡

网卡组bond

提升网络整体带宽

应用

Ceph配置参数

1、设置进程最大使用上线

2、关闭debug日志记录消耗

3、全闪存每个nvme上部署多个进程

4、设置较多的pg数量

4 以下哪个工具,可以监控网卡流量:sar

鲲鹏性能优化,性能优化,华为云

5 其他

1 下面哪个工具,可以用来收集热点函数:perf

2 下列哪个技术,可以使单个指令的执行时间,缩短到一个时钟周期?流水线

鲲鹏性能优化,性能优化,华为云

6 多选

1 HyperScan加速库的应用场景包含哪些?

入侵检测系统;

DPI解决方案;

互联网营销;

网络威胁检测

鲲鹏性能优化,性能优化,华为云

2 MySQL数据库在鲲鹏平台上,有什么优化手段?

关闭SMMU;

关闭预测;

网卡中断绑核(关闭irqbalance)

3  KAE支持的加解密算法:SM3/SM4

鲲鹏性能优化,性能优化,华为云

4 传统应用扩展性差,因此可用性和并发性都不高。可以使用分布式应用的哪些方式来解决这些问题?

数据池;

数据多副本;

主备HA;

分库

5 分布式存储支持的数据场景包括:全闪存(热数据)、均衡型(温数据)、容量型(冷数据)

分布式存储全闪存的特点:

通常采用 NVMe SSD 全闪存存储
IO 并发度要求高,以小数据块访问为主
CPU 资源通常是瓶颈,适合多核架构

鲲鹏性能优化,性能优化,华为云

 6 均衡性、容量型特点:

通常采用容量型 SSD 或大容量 HDD 存储
网络资源是性能瓶颈
通过数据压缩提升存储介质利用率

7 分布式存储提供的主要服务类型:

块存储;

对象存储;

文件存储

鲲鹏性能优化,性能优化,华为云

8 云为企业带来了哪些挑战?

企业的系统架构;

企业的研发模式;

企业的商业模式

9 关于KAE加速库,描述正确的是:

KAE适用场景包括EB和分布式存储;

KAE加解密是鲲鹏加速引擎的加解密模块,KAEZip是鲲鹏加速引擎的压缩模块;

KAE加速库不包含对称加密

10 华为D310视频转码方案具备哪些优势?

高性能;

首帧时延低;

单路帧率

鲲鹏性能优化,性能优化,华为云文章来源地址https://www.toymoban.com/news/detail-774618.html

 11 华为D310视频转码方案中,支持的编码技术有哪些?X264/X265

12 加速库性能优化方法,包括:分支预测、数据预取、使用neon指令加速

13 目前市场上主流的转码方案有哪些?FPGA转码、GPU转码、CPU转码、AI转码

14 鲲鹏提供了哪几种类型的加速库?多媒体加速;基础加速、加解密加速;压缩加速

15 视频转码的应用场景有哪些?VDI/直播、视频会议、点播

16 

到了这里,关于3 华为鲲鹏HCIP-性能优化23+开发实践7的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 23年通天塔搭建页前端性能优化阶段分享

        通天塔搭建页项目是用来搭建各类活动页面,比较老且业务复杂的项目,可优化点还是非常多的。今年侧重对运营页首屏加载的性能优化,在保证系统稳定可控、需求持续迭代前提下,最终提升了58.8%速度。 回顾一年的不断探(cai)索(keng),得出的感受的是: 选择大

    2024年02月01日
    浏览(28)
  • JVM系统优化实践(23):GC生产环境案例(6)

    您好, 这里是 「 码农镖局 」 CSDN博客,欢迎您来,欢迎您再来~ 在互联网大厂中,对每天亿级流量的日志进行清洗、整理是非常常见的工作。在某个系统中,需要对用户的访问日志做脱敏处理,也就是清洗掉姓名、身份证号、手机号等个人隐私信息后在保存到数据库中或者

    2024年02月15日
    浏览(27)
  • Android复杂UI的性能优化实践 - PTQBookPageView 性能优化记录

    作者:彭泰强 要做性能优化,首先得知道性能怎么度量、怎么表示。因为性能是一个很抽象的词,我们必须把它量化、可视化。那么,因为是UI组件优化,我首先选用了 GPU呈现模式分析 这一工具。 在手机上的开发者模式里可以开启 GPU呈现(渲染)模式分析 这一工具,有的

    2024年02月14日
    浏览(33)
  • 性能优化实践:一行代码性能提升几十倍?

    Part1 问题背景 在一般的互联网公司,大家都非常忙碌。活儿是永远干不完的。这时候,我建议先做重要的事情。试想:一个人永远都在做「紧急不重要」的事情,他的产出必然是非常低的。这就是为什么「重要不紧急」在第二象限,仅仅排在「重要且紧急」后面。 所以对于

    2024年04月28日
    浏览(27)
  • React组件性能优化实践

    React组件性能优化的核心是减少渲染真实DOM节点的频率,减少 Virtual DOM比对的频率。 在组件中为 window注册的全局事件,以及定时器,在组件卸载前要清理掉,防止组件卸载后继续执行影响应用性能。 需求:开启定时器,然后卸载组件,查看组件中的定时器是否还在运行。 什

    2024年02月14日
    浏览(29)
  • 客户端性能优化实践

    双十一大促时,客户客服那边反馈商品信息加载卡顿,在不断有订单咨询时,甚至出现了商品信息一直处于加载状态的情况,显然,在这种高峰期接待客户时,是没法进行正常的接待工作的。 起初,页面一直处于加载状态,初步认为是后端接口返回太慢导致,后经过后端日志

    2024年02月03日
    浏览(31)
  • XxlJob深度性能优化实践

    天画项目的数据工厂目前在与xxl-job对接自动化数据生成任务,另外我司也在使用该组件做业务,所以想深入了解下XxlJob。在跟进了社区的github等仓库issue发现开发迭代停滞了一段时间,思来想去准备开个下游分支做一些性能优化和特性开发等,于是fork了下源码,将其作为天画

    2024年02月21日
    浏览(30)
  • 线索系统性能优化实践

    在京东家居事业部,线索CRM系统扮演着至关重要的角色,它作为构建家居场景核心解决方案集的首要环节,肩负着获客和拓展业务的重要使命。然而,随着业务的不断扩张和市场需求的日益增长,系统原有的架构开始显露出诸多不适应之处,如架构设计不再清晰,代码存在过

    2024年01月25日
    浏览(35)
  • ES性能优化最佳实践- 检索性能提升30倍!

            Elasticsearch是被广泛使用的搜索引擎技术,它的应用领域远不止搜索引擎,还包括日志分析、实时数据监控、内容推荐、电子商务平台、企业级搜索解决方案以及许多其他领域。其强大的全文搜索、实时索引、分布式性能和丰富的插件生态系统使其成为了许多不同

    2024年02月08日
    浏览(38)
  • Vue 项目性能优化 — 实践指南

    Vue 框架通过数据双向绑定和虚拟 DOM 技术,帮我们处理了前端开发中最脏最累的 DOM 操作部分, 我们不再需要去考虑如何操作 DOM 以及如何最高效地操作 DOM;但 Vue 项目中仍然存在项目首屏优化、Webpack 编译配置优化等问题,所以我们仍然需要去关注 Vue 项目性能方面的优化,

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包