NExT-GPT复现之——llama踩坑

这篇具有很好参考价值的文章主要介绍了NExT-GPT复现之——llama踩坑。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

NExT-GPT复现了快一周,库一多真的各种BUG!各种release和flag不一样也导致配置起来顾此失彼。等配置完了一定搞一个docker发出来!

这里记录一下llama踩坑。

由于llama2发布,llama1的权重很难申请到。学生邮箱两周都没消息。想使用llama2的权重,但是bug还是很多,而且md5码是错误的。

pyllama 在windows下

https://github.com/Xianchao-Wu/pyllama

首先是需要配置cmake,然后从sourse安装itree。

python -m llama.download  --model_size 7B --folder /tmp

全是空行,debug发现卡在这里一直retry.

 retcode = hiq.execute_cmd(cmd, verbose=False, shell=True, runtime_output=True, env=os.environ)

https://github.com/juncongmoo/pyllama/issues/50

安装weget等:

  • 如果您使用的是 Windows,则必须安装 WSL 和 bash 才能运行下载脚本。
  • 你必须安装wget(在linux版本中)
  • HIQ 似乎在 cmd 中执行 bash shell 脚本时出现问题
  • 你可以做的是,手动创建一个下载脚本的版本并添加你的director(Linux格式)并添加你想要的模型作为字符串
  • 现在只需使用 wsl 并在命令行中打开 bash 并运行下载脚本
  • 现在您已经安装了所需的型号并可以继续设置。

Windows 10 中 Bash Shell https://www.jianshu.com/p/a90591d5db0c
如何使用 WSL 在 Windows 上安装 Linux https://learn.microsoft.com/zh-cn/windows/wsl/install

报错

适用于 Linux 的 Windows 子系统没有已安装的分发版。
可以通过访问 Microsoft Store 来安装分发版:        
https://aka.ms/wslstore    

使用:

 wsl --install -d Ubuntu
 或
 wsl --install --distribution Debian

安装wget文章来源地址https://www.toymoban.com/news/detail-722657.html

到了这里,关于NExT-GPT复现之——llama踩坑的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【Docker】快速部署 ChatGPT Next Web,一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 & Gemini Pro 模型。

    ChatGPT Next Web 可以一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 Gemini Pro 模型。你无需任何复杂的配置,只需几行命令就可以完成部署。我们将通过 Docker 来部署这个应用。 下载 Docker 镜像 首先,我们需要从 Docker Hub 下载 ChatGPT 应用的 Docker 镜像。 Docker 版本需要在

    2024年03月10日
    浏览(76)
  • 通过NextChat(ChatGPT-Next-Web)低成本给自己或客户部署GPT程序

    在国内,用着别人的GPT总归不爽,一是担心稳定性,二是还可能被广告打扰。Github上超人气项目NextChat提供了私有化部署GPT的最佳实践方案,帮助你低成本完成GPT的私人所有。 注意:本文仅针对需要部署项目的读者来展开,实际本站提供的GPT程序完全可以满足大家平时使用

    2024年01月21日
    浏览(42)
  • 触手可及的 GPT —— LLaMA

    出品人:Towhee 技术团队 最近几个月 ChatGPT 的出现引起广泛的关注和讨论,它在许多领域中的表现都超越了人类的水平。它可以生成人类级别的语言,并且能够在不同的任务中学习和适应,让人们对人工智能的未来充满了希望和憧憬。 ChatGPT 之所以表现如此出色,得依靠于

    2024年02月09日
    浏览(40)
  • gpt和llama的推理prompt

    prompt engineering: https://www.promptingguide.ai/

    2024年01月23日
    浏览(35)
  • 【极客技术】真假GPT-4?微调 Llama 2 以替代 GPT-3.5/4 已然可行!

    近日小编在使用最新版GPT-4-Turbo模型(主要特点是支持128k输入和知识库截止日期是2023年4月)时,发现不同商家提供的模型回复出现不一致的情况,尤其是 模型均承认自己知识库达到2023年4月,但当我们细问时,Fake GPT4-Turbo(暂且这样称呼)出现了明显胡编乱造的情况 ,如下

    2024年02月04日
    浏览(41)
  • 【Meta-Al】llama GPT 测试

    2023-4-28 更新: github有兄弟合并+量化了7B、13B的权重,Chinese-Alpaca项目部署体验更简单: GitHub - ymcui/Chinese-LLaMA-Alpaca: 中文LLaMAAlpaca大语言模型+本地CPU/GPU部署 (Chinese LLaMA Alpaca LLMs)   github地址: GitHub - facebookresearch/llama: Inference code for LLaMA models 在 LLaMA 发布三天后,初创公司 N

    2024年02月11日
    浏览(39)
  • 全面对比GPT-3.5与LLaMA 2微调

    通用大模型虽好,但通过微调得到一个专属大模型不仅可以提高模型的可操控性、输出格式的可靠性和语气的一致性,还能让用户缩短提示长度,加速API调用,降低成本。 本文作者Sam L\\\'Huillier对GPT-3.5与LLaMA 2的微调进行了基准测试,以验证手动微调的模型能否以较低的成本接

    2024年02月08日
    浏览(40)
  • midjourney指令笔记+踩坑日记+gpt论文润色指令

    跟人拼团入手了midjourney,长期记录更新。 参考网址:prompttool 可以看到各种画风 Pixar style character, delicate eyes, Cinematic lighting, marginal light, raytracing, soft colors, Disney style, IP Pop mart blind box, 3d, c4d, blander, OC rendering, chibi, dribblable, pintreset, epic detail, ultra-high definition, 8k 皮克斯

    2024年02月08日
    浏览(47)
  • Meta开放小模型LLaMA,性能超过GPT-3

    论文地址 :https://research.facebook.com/file/1574548786327032/LLaMA--Open-and-Efficient-Foundation-Language-Models.pdf 介绍 LLaMA,是Meta AI最新发布的一个从7B到65B参数的基础语言模型集合。在数以万亿计的token上训练模型,并表明有可能完全使用公开的数据集来训练最先进的模型,而不需要求助于专

    2024年02月09日
    浏览(61)
  • 本地运行 LLAMA & GPT-3.5-TURBO开源项目

    git: nomic-ai/gpt4all: gpt4all: an ecosystem of open-source chatbots trained on a massive collections of clean assistant data including code, stories and dialogue (github.com) 下载好源码后,的目录结构:  视频中说的 chat 目录在: gpt4all-training/chat  下载 gpt4all 使用的模型地址:https://the-eye.eu/public/AI/models/nomic-

    2024年02月11日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包