PTM：大模型加速方法或框架(预训练阶段/推理阶段)的简介、常用框架(Megatron-LM/Colossal-AI/DeepSpeed等，FasterTransformer/FastLLM/vLLM

相关文章

• 

  TVM编译器推理加速模型

  TVM是一个开源的端到端优化机器学习编译器，目的是加速模型在任意硬件上的计算。 一般情况下如果实在intel的cpu上面部署可能用OpenVino，N卡上面肯定TensorRT，arm架构机器可能会用Ncnn等，意味着要针对每个框架做部署，这里面涉及到的转换非常复杂，部署过的就知道有多少坑

  2024年01月19日

  浏览(55)
• 

  微调Whisper语音识别模型和加速推理

  OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目，且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务，它们能将各种语言的语音变成文本，也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调，目

  2024年02月07日

  浏览(45)
• 

  LLM大模型推理加速 vLLM；docker推理大模型；Qwen vLLM使用案例；模型生成速度吞吐量计算

  参考： https://github.com/vllm-project/vllm https://zhuanlan.zhihu.com/p/645732302 https://vllm.readthedocs.io/en/latest/getting_started/quickstart.html ##文档 这里使用的cuda版本是11.4，tesla T4卡 加速原理： PagedAttention，主要是利用kv缓存 注意：用最新的qwen 7B v1.1版本的话，vllm要升级到最新0.2.0才可以（http

  2024年01月21日

  浏览(114)

• rk3588使用npu进行模型转换和推理，加速AI应用落地

  本文完成于2022-07-02 20:21:55 。博主在瑞芯微RK3588的开发板上跑了deepsort跟踪算法，从IP相机中的server拉取rtsp视频流，但是fps只有1.2，和放PPT一样卡顿，无法投入实际应用。本来想使用tensorrt进行加速推理，但是前提需要cuda，rk的板子上都是Arm的手机gpu，没有Nvidia的cuda，所以这条

  2023年04月12日

  浏览(45)
• 

  从零构建深度学习推理框架-1 简介和Tensor

  源代码作者：https://github.com/zjhellofss 本文仅作为个人学习心得领悟 ，将原作品提炼，更加适合新手 深度学习推理框架用于对已训练完成的神经网络进行预测，也就是说，能够将深度训练框架例如Pytorch、Tensorflow中定义的算法移植到中心侧和端侧，并高效执行。与训练框架不同

  2024年02月15日

  浏览(49)
• 

  【LLM】chatglm-6B模型训练和推理

  本篇文章记录下 chatglm-6B 训练和推理过程 环境：Ubuntu 20.04 + 1.13.0+cu116 chatglm-6B 源代码仓库：链接 chatglm-6B 模型权重：链接 这里使用的是 THUDM 在 hugging face 开源的模型。 因为模型比较大，仓库保存模式使用的是 git lfs 模式，再 clone 之后再使用 git lfs pull 去 download 大文件。 c

  2024年02月10日

  浏览(53)
• 

  AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略

  AI：DeepSpeed Chat(一款帮用户训练自己模型的工具且简单/低成本/快 RLHF 训练类ChatGPT高质量大模型)的简介、安装、使用方法之详细攻略 目录 DeepSpeed Chat的简介 DeepSpeed-Chat的产生背景 DeepSpeed-Chat的简介 DeepSpeed-Chat的三大功能 DeepSpeed-RLHF 系统三大优势 DeepSpeed Chat的安装和使用方法

  2023年04月22日

  浏览(52)
• 

  Intel N100工控机使用核显加速推理yolov5模型

  今年3月初开始，某平台开始陆续上货基于英特尔Alder Lake-N处理器系列的迷你主机。最先出现的是N95和N100两款处理器，迷你主机的整机价格已经打到800元左右的水平了，还是有挺高可玩性的。其中N100的规格如下： 这个cpu性能虽然不是很强，性能接近4代i5移动端，但功耗很低，

  2024年02月14日

  浏览(63)

• LLM大模型推理加速实战：vllm、fastllm与llama.cpp使用指南

  随着人工智能技术的飞速发展，大型语言模型（LLM）在诸如自然语言处理、智能问答、文本生成等领域的应用越来越广泛。然而，LLM模型往往具有庞大的参数规模，导致推理过程计算量大、耗时长，成为了制约其实际应用的关键因素。为了解决这个问题，一系列大模型推理加

  2024年04月13日

  浏览(40)
• 

  [玩转AIGC]LLaMA2训练中文文章撰写神器（数据准备，数据处理，模型训练，模型推理）

  好久没更新这个专栏的文章了，今天抽空写了一篇。————2023.12.28 摘要：文体包括新闻，法律文书，公告，广告等，每种文体的书写风格不一样，如果拥有自己的数据集，想针对特定文体来训练一个内容生成的工具，来帮助自己写点文章，如果没接触过AIGC，可能一开始会

  2024年01月17日

  浏览(55)