LLMs之Colossal-LLaMA-2：源码解读(train.py文件)基于给定数据集实现持续预训练LLaMA-2—解析命令行参数→初始化配置(分布式训练环境colossalai+训练日志+加速插

相关文章

• LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec

  LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置( 量化模块 +匹配模型vocabulary大小与to

  2024年02月07日

  浏览(35)

• LLMs之llama_7b_qlora：源代码解读export_hf_checkpoint.py(模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_

  LLMs之llama_7b_qlora：源码解读export_hf_checkpoint.py模型权重合并文件)将LORA模型的权重合并回原始模型的权重(hf_llama_model+llama_7b_qlora)，并保存到指定的检查点文件中 目录

  2024年02月15日

  浏览(53)

• LLMs之llama_7b_qlora：源代码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入

  LLMs之llama_7b_qlora：源码解读inference.py(基于合并后的权重文件进行模型推理)将基于之前合并Lora模型权重后的hl_llama_7b模型进行文本生成(基于用户交互输入的上下文生成新文本) 目录

  2024年02月16日

  浏览(38)
• 

  YOLOv5源码逐行超详细注释与解读（3）——训练部分train.py

  本篇文章主要是对YOLOv5项目的训练部分 train.py 。通常这个文件主要是用来读取用户自己的数据集，加载模型并训练。 文章代码逐行手打注释，每个模块都有对应讲解，一文帮你梳理整个代码逻辑！ 友情提示： 全文近5万字，可以先点 再慢慢看哦~ 源码下载地址： mirrors / ul

  2024年02月02日

  浏览(32)

• LLMs之llama_7b_qlora：源代码解读inference_qlora.py(模型推理)使用LORA权重来初始化预训练的LLAMA模型来进行文本生成(基于用户交互输入的上下文生成新文本)

  LLMs之llama_7b_qlora：源码解读inference_qlora.py(模型推理)使用LORA权重来初始化预训练的LLAMA模型来进行文本生成(基于用户交互输入的上下文生成新文本) 目录

  2024年02月15日

  浏览(55)
• 

  LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读

  LLMs之LLaMA：《LLaMA: Open and Efficient Foundation Language Models》翻译与解读 导读 ：该论文提出了一个开源的大规模语言模型LLaMA，2048个A100-80G训练21天。该模型有以下几个核心技术点： 模型架构=Transformer+集合多个算法的优秀技术(RMSNorm+SwiGLU+RoPE+AdamW+xformers库+渐进式学习率) ：LLaMA模型

  2024年02月12日

  浏览(32)

• LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读

  LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版/旧版》翻译与解读 目录 相关文章 论文相关 LLMs：《Efficient and Effective Text Encoding for Chinese LLaMA and Alpaca-4月17日版》翻译与解读 LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与

  2024年02月13日

  浏览(35)

• NLP之LLMs：《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Coher

  NLP之LLMs：《Zeno Chatbot Report》的翻译与解读—CMU副教授详测七款个类ChatGPT大模型(GPT-2、LLaMa、Alpaca、Vicuna、MPT-Chat、Cohere Command和ChatGPT) 目录 《Zeno Chatbot Report》的翻译与解读—CMU副教授详细测评七款个类ChatGPT大模型 Overview概览 Setup设置 Model Settings模型设置 Evaluation Metrics评估指

  2024年02月09日

  浏览(31)
• 

  （四）yolov5--common.py文件解读

   🍨 本文为🔗365天深度学习训练营 中的学习记录博客 🍖 原作者：K同学啊|接辅导、项目定制  参考网址：https://blog.csdn.net/qq_38251616/article/details/124665998                   yolov5 代码解读 --common.py_XiaoGShou的博客-CSDN博客         上次对yolov5s.yaml文件进行了解读，这次在

  2024年02月09日

  浏览(27)
• 

  YOLOv5源码逐行超详细注释与解读（2）——推理部分detect.py

  前面简单介绍了YOLOv5的项目目录结构（直通车：YOLOv5源码逐行超详细注释与解读（1）——项目目录结构解析），对项目整体有了大致了解。 今天要学习的是 detect.py 。通常这个文件是用来预测一张图片或者一个视频的，也可以预测一个图片文件夹或者是一些网络流。下载后直

  2023年04月18日

  浏览(41)