LLM-LLaMA中文衍生模型：Chinese-LLaMA-Alpaca【扩充词表、Lora部分参数预训练、微调】

相关文章

• 

  【AI实战】从零开始搭建中文 LLaMA-33B 语言模型 Chinese-LLaMA-Alpaca-33B

  2023年2月25日消息，Meta 推出了一种针对研究社区的基于人工智能 (AI) 的新型大型语言模型，与微软、谷歌等一众受到 ChatGPT 刺激的公司一同加入人工智能竞赛。 Meta 的 LLaMA 是“大型语言模型 Meta AI” （Large Language Model Meta AI）的缩写，它可以在非商业许可下提供给政府、社区

  2024年02月13日

  浏览(48)

• 中文版LLaMA：Chinese-LLaMA-Alpaca

  GitHub：GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMAAlpaca大语言模型+本地CPU/GPU训练部署 (Chinese LLaMA Alpaca LLMs) 以ChatGPT、GPT-4等为代表的大语言模型（Large Language Model, LLM）掀起了新一轮自然语言处理领域的研究浪潮，展现出了类通用人工智能（AGI）的能力，受到业界广泛关注。然而，

  2024年02月12日

  浏览(51)
• 

  NLP-分词器：SentencePiece【参考Chinese-LLaMA-Alpaca在通用中文语料上训练的20K中文词表并与原版LLaMA模型的32K词表进行合并的代码】

  随着ChatGPT迅速出圈，最近几个月开源的大模型也是遍地开花。目前，开源的大语言模型主要有三大类：ChatGLM衍生的大模型（wenda、ChatSQL等）、LLaMA衍生的大模型（Alpaca、Vicuna、BELLE、Phoenix、Chimera等）、Bloom衍生的大模型（Bloomz、BELLE、Phoenix等）。其中，ChatGLM-6B主要以中英双

  2024年02月11日

  浏览(57)
• 

  LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略

  LLMs：Chinese-LLaMA-Alpaca的简介(扩充中文词表+增量预训练+指令精调)、安装、案例实战应用之详细攻略 导读 ：2023年4月17日，哈工大讯飞联合实验室，本项目开源了中文LLaMA模型和指令精调的Alpaca大模型，以进一步促进大模型在中文NLP社区的开放研究。 Chinese-LLaMA 在原版LLaMA的基

  2024年01月20日

  浏览(52)

• AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

  生成的文件在 .buildbin ，我们要用的是 main.exe ， binmain.exe -h 查看使用帮助 本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMAAlpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用

  2024年04月25日

  浏览(63)

• LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】

  准备工作 运行前确保拉取仓库最新版代码： git pull 确保机器有足够的内存加载完整模型（例如7B模型需要13-15G）以进行合并模型操作。 务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致 ，否则无法进行合并操作。原版LLaMA包含： tokenizer.model 、 tokeni

  2024年02月13日

  浏览(61)
• 

  Chinese-LLaMA-Alpaca代码实战

  项目地址： https://github.com/ymcui/Chinese-LLaMA-Alpaca 由于LLaMA 原生仅支持 Latin 或 Cyrillic 语系，对于中文支持不是特别理想，并不像ChatGLM 和 Bloom 原生支持中文。但由于LLaMA模型在英文上的效果本身还是不错的，因此使用 模型词表扩充（中文词表） ，配合二次预训练及微调的方式

  2024年02月09日

  浏览(45)
• 

  Chinese-LLaMA-Alpaca本地搭建（三）

  中文羊驼模型只是一些LoRA权重模型文件，与原版LLaMA模型合并后就可以生成一个完整模型使用了，在这过程中可以不断训练LoRA权重模型文件，无限训练后达到专业领域的效果，理论上就能投入使用了，但注意禁止商用的问题。 Facebook官方发布的LLaMA模型禁止商用，并且官方没

  2024年01月22日

  浏览(42)
• 

  Chinese-LLaMA-Alpaca本地搭建（四）

  中文羊驼模型只是一些LoRA权重模型文件，与原版LLaMA模型合并后就可以生成一个完整模型使用了，在这过程中可以不断训练LoRA权重模型文件，无限训练后达到专业领域的效果，理论上就能投入使用了，但注意禁止商用的问题。 Facebook官方发布的LLaMA模型禁止商用，并且官方没

  2024年02月14日

  浏览(41)

• LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的chec

  LLMs之Chinese-LLaMA-Alpaca-2：源码解读(run_clm_pt_with_peft.py文件)—模型训练前置工作(参数解析+配置日志)→模型初始化(检测是否存在训练过的checkpoint+加载预训练模型和tokenizer)→数据预处理(处理【标记化+分块】+切分txt数据集)→优化模型配置( 量化模块 +匹配模型vocabulary大小与to

  2024年02月07日

  浏览(42)