4月10日,Techcrunch消息,Meta在本周伦敦举办的一场活动中确定,下个月将正式发布Llama 3并且继续开源。
Meta全球事务总裁Nick Clegg表示,我们希望在下个月,甚至更短的时间内,正式推出新一代基础模型Llama 3。它将有很多个版本,而且功能也各不相同。
根据Meta的AI副总裁Joelle Pineau透露,Llama 3的参数大约只有1400亿左右,将继续保持高性能,低参数的风格。这对于中小企业和个人开发者来说帮助巨大,可以节省很多成本。
Llama系列模型时类ChatGPT开源模型的鼻祖,早在去年2月,ChatGPT火爆出圈时,全球多个国家、地区皆在尝试开发类似的产品。虽然已经有一些开源产品,但在功能、能耗等方面与其相差甚远。
同月,Meta重磅开源了类ChatGPT开源模型LLaMA。随后,国内外不少科研机构、个人开发者在LLaMA基础之上,开发了众多知名开源项目。但LLaMA有一个致命缺点,无法商业化只能用于研究。
LLaMA与ChatGPT同样是基于Transformers架构演变而来,共有70亿、130亿、330亿和650亿参数四种类型,接受了20种不同语言文本的训练。
数据训练方面,LLaMA使用公开可用的数据集进行训练,其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等,总体标记数据总量大约在1.4万亿个Tokens左右。
2023年7月,Meta在LLaMA基础之上训练、开源了LLaMA 2,拥有70亿、130亿、340亿和700亿四种参数。并且这一代终于允许商业化。
Llama 2 预训练模型接受了2万亿个标记的训练,上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练,整体性能非常强悍。
目前,Llama 2也是整个生成式AI开源界应用最多的大模型之一。
本文素材来源Techcrunch,如有侵权请联系删除文章来源:https://www.toymoban.com/news/detail-851365.html
END文章来源地址https://www.toymoban.com/news/detail-851365.html
到了这里,关于Llama 3下月正式发布,继续开源!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!