LLM-LLaMA中文衍生模型：LLaMA-ZhiXi【没有对词表进行扩增、全参数预训练、部分参数预训练、指令微调】

相关文章

• 大模型训练-实战：模型、算力、数据训练实际情况【LLaMA系列（zhixi-13b）、mt5系列（mt5-xxl-13b）】

  2024年02月16日

  浏览(45)
• 

  LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略

  LLMs之Code：Code Llama的简介(衍生模型如Phind-CodeLlama/WizardCoder)、安装、使用方法之详细攻略 导读 ：2023年08月25日(北京时间)，Meta发布了Code Llama，一个可以使用 文本提示生成代码 的大型语言模型(LLM)。Code Llama是最先进的公开可用的LLM代码任务，并有潜力 使工作流程更快 ，更有

  2024年02月08日

  浏览(49)
• 

  LLM：LLaMA模型和微调的Alpaca模型

  简单了解[LeCun狂赞：600刀GPT-3.5平替！ 斯坦福70亿参数「羊驼」爆火，LLaMA杀疯了] 论文原文：https://arxiv.org/abs/2302.13971v1 模型就是用的transformer的decoder，模型设计的不同点在于： 1 Position Embedding ：RoPE旋转位置编码rotary-embedding 删除了绝对位置嵌入，而是在网络的每一层添加了

  2024年02月10日

  浏览(47)
• 

  llama.cpp LLM模型 windows cpu安装部署；运行LLaMA-7B模型测试

  参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599 cmake windows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131314105 1、下载： 2、编译 3、测试运行 参考： https://zhuanlan.zhihu.com/p/638427280 模型下载： https://huggingface.co/nya

  2024年02月15日

  浏览(51)
• 

  LLM__llama-7B模型试验

  llama模型已经开源很久了，所以拿做小的模型做了个简单尝试 因为做简单尝试并不打算长期持有，所以以便宜、够用、好退货为主要参考依据购买阿里云服务器、 我看7B的模型权重大小就13GB，所以先购入一个 32GB内存的虚拟机 CPU内存: 4核(vCPU) 32 GiB ~ 操作系统: Alibaba Cloud Lin

  2024年02月09日

  浏览(41)
• 

  llama.cpp LLM模型 windows cpu安装部署；运行LLaMA2模型测试

  参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599 cmake windows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131314105 1、下载： 2、编译 3、测试运行 参考： https://zhuanlan.zhihu.com/p/638427280 模型下载： https://huggingface.co/nya

  2024年02月16日

  浏览(41)
• 

  导出LLaMA等LLM模型为onnx

  通过onnx模型可以在支持onnx推理的推理引擎上进行推理，从而可以将LLM部署在更加广泛的平台上面。此外还可以具有避免pytorch依赖，获得更好的性能等优势。 这篇博客（大模型LLaMa及周边项目（二） - 知乎）进行了llama导出onnx的开创性的工作，但是依赖于侵入式修改transform

  2024年02月14日

  浏览(70)
• 

  llama.cpp LLM模型 windows cpu安装部署

  参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599 cmake windows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131314105 1、下载： 2、编译 3、测试运行 参考： https://zhuanlan.zhihu.com/p/638427280 模型下载： https://huggingface.co/nya

  2024年02月11日

  浏览(38)
• 

  [NLP]LLM---FineTune自己的Llama2模型

  Let’s talk a bit about the parameters we can tune here. First, we want to load a  llama-2-7b-hf  model and train it on the  mlabonne/guanaco-llama2-1k  (1,000 samples), which will produce our fine-tuned model  llama-2-7b-miniguanaco . If you’re interested in how this dataset was created, you can check this notebook. Feel free to change it: there ar

  2024年02月09日

  浏览(51)
• 

  【LLM】LLaMA简介：一个650亿参数的基础大型语言模型

  作为 Meta 对开放科学承诺的一部分，今天我们将公开发布 LLaMA (大型语言模型 Meta AI) ，这是一个最先进的大型语言基础模型，旨在帮助研究人员推进他们在人工智能这一子领域的工作。更小，更高性能的模型，例如 LLaMA，使得研究社区中没有大量基础设施的其他人能够研究这

  2024年02月10日

  浏览(41)