llama2
Meta最新语言模型LLaMA解读，LLaMA是Facebook AI Research团队于2023年发布的一种语言模型，这是一个基础语言模型的集合。
体验地址
- 体验地址
模型下载
-
模型下载地址
下载步骤
准备工作
- 先注册登录
- 授权，需要一段时间，
- 需要使用gls
什么是Git LFS
git是程序员开发程序不可或缺的工具，有效的使用git能够极大的加快程序人员的开发效率。
在开发比较轻量化的代码时，开发的速度不会受到git上传下载速度的影响，但是随着系统的复杂度增加，代码中关联到的文件越来越多，其中二进制文件发生变化时，git需要存储每次提交的变动，导致本地git仓库越来越大，上传下载速度也受到了很大影响。
Git LFS的出现解决了这一问题，LFS全称Large File
Storge，即大文件存储，可以帮助我们管理比较大的文件，对于二进制文件来说，git lfs对于需要追踪的文件只会保存一个指向该文件的指针，而不是在本地仓库中保存每次提交的版本，这解答的节省了本地磁盘空间，同时也缩小的git的传输时间。其核心是把需要进行版本控制，但是占用很大空间的文件独立于git仓库进行管理，进而加快git速度。
- Git LFS 的使用方法
- 安装 git lfs
windows
下载安装 windows installer
运行 windows installer
git lfs install
mac
安装 homebrew
brew install git-lfs
git lfs install
linux
Centos
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.rpm.sh | sudo bash
sudo yum install git-lfs
git lfs install
Ubuntu
curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
git lfs install
关于使用这里不在赘述了。
下载huggingface模型
通过git clone批量下载huggingface模型和数据集
操作步骤：
首先打开huggingface官网：https://huggingface.co/
进入官网之后，点击“Models",如下图：
如果想要下载数据集，则同样的操作方法，点击”Datasets“.
进入”Models“,之后，在搜索框，输入想要download的模型名称。比如：Llama-2-7b-chat-hf
找到想要下载的模型，点击进入，出现下面的画面：
之后按照代码流程进行clone就行
模型运行代码
模型下载完成后，找到对应模型的目录进行运行文章来源：https://www.toymoban.com/news/detail-717169.html
from transformers import AutoTokenizer
import transformers
import torch
model = "./lla2/Llama-2-7b-chat-hf"
local_rank = 3
## set device
torch.cuda.set_device(local_rank)
tokenizer = AutoTokenizer.from_pretrained(model)
pipeline = transformers.pipeline(
"text-generation",
model=model,
torch_dtype=torch.float16,
device_map=torch.device("cuda", local_rank),
)
## 示例1
sequences = pipeline(
'I liked "Breaking Bad" and "Band of Brothers". Do you have any recommendations of other shows I might like?\n',
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200,
)
for seq in sequences:
print(f"Result: {seq['generated_text']}")
## 示例2
text2= "Is Beijing the capital of China？"
sequences = pipeline(
text2,
do_sample=True,
top_k=10,
num_return_sequences=1,
eos_token_id=tokenizer.eos_token_id,
max_length=200,
)
for seq in sequences:
print(f"Question: {seq['generated_text']}")
Output:
文章来源地址https://www.toymoban.com/news/detail-717169.html
到了这里，关于Meta语言模型LLaMA解读：模型的下载部署与运行代码的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
