conda activate llamachinese
cd /home/cys/Llama2-Chinese/scripts/api
python accelerate_server.py --model_path /media/cys/c4e58bbe-a73a-4b02-ae9e-2b310ee884fb/chinese-llama-2-13b --gpus "0" --infer_dtype "int8" --model_source "llama2_chinese"
文章来源:https://www.toymoban.com/news/detail-799186.html
运行结果:文章来源地址https://www.toymoban.com/news/detail-799186.html
到了这里,关于ubuntu下llama2的api远程调用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!