NExT-GPT复现了快一周,库一多真的各种BUG!各种release和flag不一样也导致配置起来顾此失彼。等配置完了一定搞一个docker发出来!
这里记录一下llama踩坑。
由于llama2发布,llama1的权重很难申请到。学生邮箱两周都没消息。想使用llama2的权重,但是bug还是很多,而且md5码是错误的。
pyllama 在windows下
https://github.com/Xianchao-Wu/pyllama
首先是需要配置cmake,然后从sourse安装itree。
python -m llama.download --model_size 7B --folder /tmp
全是空行,debug发现卡在这里一直retry.
retcode = hiq.execute_cmd(cmd, verbose=False, shell=True, runtime_output=True, env=os.environ)
https://github.com/juncongmoo/pyllama/issues/50
安装weget等:
- 如果您使用的是 Windows,则必须安装 WSL 和 bash 才能运行下载脚本。
- 你必须安装wget(在linux版本中)
- HIQ 似乎在 cmd 中执行 bash shell 脚本时出现问题
- 你可以做的是,手动创建一个下载脚本的版本并添加你的director(Linux格式)并添加你想要的模型作为字符串
- 现在只需使用 wsl 并在命令行中打开 bash 并运行下载脚本
- 现在您已经安装了所需的型号并可以继续设置。
Windows 10 中 Bash Shell https://www.jianshu.com/p/a90591d5db0c
如何使用 WSL 在 Windows 上安装 Linux https://learn.microsoft.com/zh-cn/windows/wsl/install
报错
适用于 Linux 的 Windows 子系统没有已安装的分发版。
可以通过访问 Microsoft Store 来安装分发版:
https://aka.ms/wslstore
使用:文章来源:https://www.toymoban.com/news/detail-722657.html
wsl --install -d Ubuntu
或
wsl --install --distribution Debian
安装wget文章来源地址https://www.toymoban.com/news/detail-722657.html
到了这里,关于NExT-GPT复现之——llama踩坑的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!