“ 探索 Llama 2 背后的过程,包括了模型的全面解析,在线体验,微调,部署等,这份资源汇总将带您深入了解其内涵。”
01
—
周二发布了文章《中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用》后,不少朋友们对开源模型LLaMA2比较感兴趣。
LLaMA 2 是 Meta 开发的大型语言模型,是 LLaMA 1 的后续版本。LLaMA 2 可通过 AWS、Hugging Face 等平台提供商获得,并免费用于研究和商业用途。
LLaMA 2 预训练模型在 2 万亿个标记上进行训练,上下文长度是 LLaMA 1 的两倍。它的微调模型已经接受了超过 100 万个人工注释的训练。
Meta 的LLaMA2官方网站地址
https: //ai.meta.com/llama/
与 LLaMA 1 相比,新的改进包括:
在 2 万亿个标记的文本数据上进行训练
允许商业使用
默认使用 4096 个前后文本视野
70B 模型采用了分组查询注意力(GQA)
可以在 Hugging Face Hub 上直接获取(https://hf.co/models?other=llama-2)
推荐朋友们先看看官方的模型使用手册
https://ai.meta.com/static-resource/responsible-use-guide/
02
—
在线体验
朋友们可以在下面几个在线网址,用对话的方式体验已经部署好的LLaMA2,不过,回复基本是英文,即使强制它使用中文回答,或者将回复翻译成中文,效果也不尽如人意。
HuggingChat 上的 Llama 2 70B
https://hf.co/chat
Perplexity 的地址
https://llama.perplexity.ai/
03
—
Llama 2 是一个基于公开可获取网络数据训练的基础大语言模型。同时,Meta 公布了其对话模型 - Chat 版本。
初始的Chat模型是SFT(有监督调优)模型。随后,LLaMA-2-chat 通过人类反馈强化学习(RLHF)逐步演化。在RLHF过程中,采用了拒绝采样和近端策略优化(PPO)等技术,对聊天机器人进行进一步调优。
目前,Meta 仅公开了RLHF模型的最新版本(v5)。下面有一些资料是关于Llama 2的研究。
Llama 2: 描述了 Llama 2-Chat 的微调和安全改进方法
https://arxiv.org/abs/2307.09288
对开源大语言模型Llama 2的分析
https://www.interconnects.ai/p/llama-2-from-meta
Llama 2 的全面拆解
https://www.youtube.com/watch?v=zJBpRn2zTco
模型评测
Meta 声称“Llama 2 在许多外部基准测试上都优于其他开源语言模型,包括推理、编码、熟练程度和知识测试”。
Hugging Face 开源大语言模型排行榜
https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard
Meta 官方网站
https://ai.meta.com/llama/
看了一下,这个只是对国外的开源模型的对比,没有国内中文的模型,也没有闭源的ChatGPT,Bard,Claude。
怎么和 LLaMA 2 聊天
Llama 2 Chat 是一个可开源的对话模型。要与 Llama 2 Chat 进行有效互动,用户需要提供适当的提示词,以获得合乎逻辑且有帮助的回复。Meta 并未选择最简单的提示词结构(不知道缘由)。
以下是单轮和多轮对话的提示词样式。
单轮对话
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_message }} [/INST]
多轮对话
<s>[INST] <<SYS>>
{{ system_prompt }}
<</SYS>>
{{ user_msg_1 }} [/INST] {{ model_answer_1 }} </s><s>[INST] {{ user_msg_2 }} [/INST] {{ model_answer_2 }} </s><s>[INST] {{ user_msg_3 }} [/INST]
下面是关于提示词更详细的说明
Llama 2 论文
https://hf.co/papers/2307.09288
Llama 2 提示词模板
https://gpus.llm-utils.org/llama-2-prompt-template/
如何训练 LLaMA 2
LLaMA 2 是开源的模型,所以我们可以使用 PEFT 等技术进行微调。有大量学习资源可用于训练自己的 LLaMA 2 版本:
扩展指引:指令微调 Llama 2
https://www.philschmid.de/instruction-tune-llama-2
在 Amazon SageMaker 上微调 Llama 2 (7-70B)
https://www.philschmid.de/sagemaker-llama2-qlora
使用 PEFT 技术微调
https://hf.co/blog/zh/llama2#fine-tuning-with-peft
Meta 提供的 Llama 模型示例以及方案
https://github.com/facebookresearch/llama-recipes/tree/main
在本地机器上微调 LLAMA-v2 最简单的方法!
https://www.youtube.com/watch?v=3fsn19OI_C8
如何部署 LLaMA 2
LLaMA 2 可以部署在本地环境(参考:llama.cpp),使用Hugging Face Inference Endpoints等托管服务部署,或通过 AWS、Google Cloud 和 Microsoft Azure 等云平台。
llama.cpp
https://github.com/ggerganov/llama.cpp
使用文本生成接口与推理终端来部署 LLama 2
https://hf.co/blog/llama2#using-text-generation-inference-and-inference-endpoints
使用 Amazon SageMaker 部署 LLaMA 2 70B
https://www.philschmid.de/sagemaker-llama-llm
在 Mac (M1/M2)上通过 GPU 接口来本地部署 Llama-2-13B-chat
https://gist.github.com/adrienbrault/b76631c56c736def9bc1bc2167b5d129
原文地址(英文):
https://www.philschmid.de/llama-2
阅读推荐:
OpenAI又推新:使用ChatGPT进行内容审核
中文大模型 Chinese-LLaMA-Alpaca-2 开源且可以商用
OpenAI 或于 2024 年底破产?外媒也这么爱标题党
LLama2详细解读 | Meta开源之光LLama2是如何追上ChatGPT的?
ChatGPT 的“自定义”功能对免费用户开放,在问题信息不足情况下还会反问来获取必要信息
ChatGLM团队发布AI Agent能力评测工具AgentBench:GPT-4一骑绝尘,开源模型表现非常糟糕!
ChatGPT 微信助手上线!问答更便捷,功能持续升级中。
文章来源:https://www.toymoban.com/news/detail-675802.html
拥抱未来,学习 AI 技能!关注我,免费领取 AI 学习资源。文章来源地址https://www.toymoban.com/news/detail-675802.html
到了这里,关于深度解析 Llama 2 的资源汇总:不容错过的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!