xAI 发布 Grok-1 — 最大的开源LLM

这篇具有很好参考价值的文章主要介绍了xAI 发布 Grok-1 — 最大的开源LLM。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

xAI 发布 Grok-1 — 最大的开源LLM

xai grok-1怎么下载,开源,人工智能

图片由 Jim Clyde Monge 提供

埃隆·马斯克(Elon Musk)的人工智能公司xAI在Apache 2.0许可下发布了其3140亿参数的专家混合模型Grok-1的权重和架构。

在此之前,马斯克上周一承诺向公众免费提供格罗克。作为一个一直密切关注人工智能领域发展的人,我不得不说,这是在开放性和可访问性方面向前迈出的一大步。

 什么是格罗克?

Grok 是一个拥有 3140 亿个参数的庞大语言模型,是目前最大的开源模型。就上下文而言,这是 OpenAI 的 GPT-3 的两倍多,后者在 2020 年发布时被认为是一项突破。

在 X 用户 Andrew Kean Gao 分享的图表中,您可以看到 Grok 的规模与其竞争对手相比有多大。

xai grok-1怎么下载,开源,人工智能

 图片由 Andrew Gao 提供

但 Grok 不仅更大,它还利用了专家混合 (MoE) 架构,使其能够战略性地激活不同任务的参数子集。从理论上讲,与传统的密集模型相比,这使其更加高效和适应性更强。

以下是 Grok-1 版本的摘要

  • 314B 参数 Mixture-of-Experts 模型,其中 25% 的权重在给定令牌上处于活动状态
  • 基础模型是在大量文本数据上训练的,没有针对任何特定任务进行微调。
  •  8 位专家(2 位在职)
  •  860 亿个参数
  •  Apache 2.0 许可证
  • 纸张:https://x.ai/blog/grok-os
  • 产品代码: https://github.com/xai-org/grok-1

 如何安装 Grok

有关加载和运行 Grok-1 的说明,请参阅此 GitHub 存储库。将存储库克隆到本地。

xai grok-1怎么下载,开源,人工智能

图片由 Jim Clyde Monge 提供

从 HuggingFace 或 Academic Torrents 下载权重并将它们放在“checkpoints”目录中。

xai grok-1怎么下载,开源,人工智能

 

xai grok-1怎么下载,开源,人工智能

图片由 Jim Clyde Monge 提供

顺便说一句,有些人质疑为什么通过 Bittorrent 磁力链接发布权重。随着模型变得越来越大,它可能会成为未来的常态。此外,通过 torrent 分发 300 GB 数据比直接分发便宜。

打开 CLI 并运行以下命令以测试代码:

pip install -r requirements.txt
python run.py

该脚本在测试输入上加载检查点和模型中的样本。

需要注意的是,由于 Grok-1 模型的庞大尺寸(包含 3140 亿个参数),因此需要具有足够 GPU 内存的机器才能使用提供的示例代码测试模型。

不幸的是,我目前无法访问能够在本地运行 Grok 的硬件,因此我无法提供该模型的第一手示例。

xAI 存储库中专家混合 (MoE) 层的当前实现未针对效率进行优化。特意选择此实现是为了优先考虑模型正确性验证,并避免开发自定义内核的需要。

 如何尝试Grok

如果您只是对 Grok 的功能感到好奇,它目前可在 X 上使用,但仅供 Premium+ 用户访问,价格为每月 16 美元。

xai grok-1怎么下载,开源,人工智能

图片由 Jim Clyde Monge 提供

 Grok-1 许可

此版本中的代码和关联的 Grok-1 权重在 Apache 2.0 许可证下获得许可。

Apache 2.0 许可证是一个宽松的自由软件许可证。该许可证允许将软件用于任何目的,用户可以分发、修改和分发软件的修改版本。

该许可证仅适用于此存储库中的源文件和 Grok-1 的模型权重。

 最后的思考

Grok-1 的发布正值关于意识形态在人工智能开发中的作用的激烈辩论之际。埃隆·马斯克(Elon Musk)一直直言不讳地表达了他对“觉醒人工智能”的担忧,他引用了谷歌的双子座(Gemini)作为人工智能系统的一个例子,该系统将多样性计划置于潜在危险的程度。文章来源地址https://www.toymoban.com/news/detail-843098.html

到了这里,关于xAI 发布 Grok-1 — 最大的开源LLM的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Grok AI 是什么?

    原文链接:https://openaigptguide.com/grok-ai/ Grok AI是由马斯克推出的一款高级别的人工智能大语言模型,旨在帮助软件开发者以不同的口头语言交流和表达。它是基于多种深度学习大规模固定模型架构,如ELMo、BERT和GPT,以及更多新的模式,使软件开发者能够快速设计和部署高度复

    2024年02月05日
    浏览(25)
  • AI大模型-Grok搭建

    🎈个人主页:靓仔很忙i 🎉欢迎 👍点赞✍评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共同学习、交流进步! 马斯克又搞事情了,正式开源AI大模型Grok-1,免费还可商用,国内AI技术即将迎来重大突破。笔者简单整合了一下,如何搭

    2024年04月16日
    浏览(29)
  • logstash grok解析Java log实践

    针对Java配置的日志格式如下: %d表示日期, %thread表示线程名, %-5level:级别从左显示5个字符宽度 %msg:日志消息, %logger{50}包名缩写, %n是换行符 转换为grok解析表达式: 解析后效果: spring boot 默认格式解析:

    2024年02月13日
    浏览(35)
  • Logstash filter grok正则的使用及介绍

    filebeat收集tomcat日志 filebeat收集nginx日志 filebeat收集apps日志 logstash收集nginx日志 logstash收集tomcat日志 logstash收集apps日志

    2024年02月03日
    浏览(45)
  • 使用Logstash过滤插件Grok的内置正则实现日志数据格式化

    格式化之前的日志内容 一条nginx的日志内容,第一列是客户端IP,第二列是请求方式,第三列是请求的URL,第四列是请求的文件大小,第五列是响应时间,如果这条数据不进行格式化,我们是无法针对性的去匹配相应的日志内容,比如想统计出响应时间比较长的页面,我们就

    2024年02月02日
    浏览(39)
  • 【AIGC调研系列】Grok大模型与其他模型相比的优势和劣势

    Grok大模型与其他模型相比,具有以下优势和劣势: 优势: 实时了解世界的能力 :Grok能够通过X平台实时了解世界,这是其独特而根本的优势之一[2][6][17]。这意味着Grok能够在回答问题时提供最新的信息和数据。 处理尖锐问题的能力 :Grok能够回答其他人工智能系统拒绝回答

    2024年04月14日
    浏览(50)
  • 使用Logstash过滤插件Grok自定义正则表达式模式并引用

    可以在样例数据: 192.168.10.1 GET /index.html 19876 0.234 中在增加一列,随便写点数字就可以。 现在的样例数据为: 192.168.10.1 GET /index.html 19876 0.234 52767 我们使用自定义的正则表达式模式来匹配数最后一列,前面五列照样使用内置模式来匹配。 将自定义的正则表达式写入到一个文

    2023年04月15日
    浏览(49)
  • ELK中grok插件、mutate插件、multiline插件、date插件的相关配置

    目录 grok 正则捕获插件 自定义表达式调用 mutate 数据修改插件 示例: ●将字段old_field重命名为new_field ●添加字段 ●将字段删除 ●将filedName1字段数据类型转换成string类型,filedName2字段数据类型转换成float类型 ●将filedName字段中所有\\\"/“字符替换为”_\\\" ●将filedName字段以\\\"|\\\"为

    2024年02月16日
    浏览(38)
  • ELK + Filebeat 部署及 logstash 的四大插件(grok、date、mutate、multiline)

    Filebeat:轻量级的开源日志文件数据搜集器。通常在需要采集数据的客户端安装 Filebeat,并指定目录与日志格式,Filebeat 就能快速收集数据,并发送给 logstash 进行解析,或是直接发给 Elasticsearch 存储,性能上相比运行于 JVM 上的 logstash 优势明显,是对它的替代。常应用于 EF

    2024年02月16日
    浏览(44)
  • ELK日志记录——Kibana组件——grok 正则捕获插件、mutate数据修改插件、multiline 多行合并插件、date 时间处理插件

    grok 使用文本片段切分的方式来切分日志事件 内置正则表达式调用 %{SYNTAX:SEMANTIC} ●SYNTAX代表匹配值的类型,例如,0.11可以NUMBER类型所匹配,10.222.22.25可以使用IP匹配。 ●SEMANTIC表示存储该值的一个变量声明,它会存储在elasticsearch当中方便kibana做字段搜索和统计,你可以将一

    2024年02月16日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包