文章来源地址https://www.toymoban.com/news/detail-845450.html
人不走空
文章来源:https://www.toymoban.com/news/detail-845450.html
🌈个人主页:人不走空
💖系列专栏:算法专题
⏰诗词歌赋:斯是陋室,惟吾德馨
目录
🌈个人主页:人不走空
💖系列专栏:算法专题
⏰诗词歌赋:斯是陋室,惟吾德馨
什么是 Grok?
Grok-1 发布摘要
如何安装 Grok
如何尝试 Grok
Grok-1 开源许可
作者其他作品:
3月11日,埃隆·马斯克承诺,他的公司 xAI 会把 AI 聊天机器人 Grok 开源给大家,现在,这承诺已经兑现了。
今天凌晨,马斯克的 xAI 宣布,他们的巨型模型 Grok-1 ——一个拥有 3140 亿参数量的混合专家(MoE)模型,连同模型的权重和网络架构,现已全面开源。
这一动作,也让 Grok-1 成为了目前世界上参数量最大的开源大语言模型。
什么是 Grok?
Grok 是一个庞大的语言模型,拥有 3140 亿个参数,使其成为目前可用的最大的开源模型。作为对比,这是 OpenAI 2020年发布的被视为突破的 GPT-3 大小的两倍多。
Langchain 的 @Andrew Kean Gao 分享的图表中,你可以看到 Grok 的大小与其竞争对手相比有多么庞大。
但 Grok 不仅仅体量巨大,它还采用了专家混合 (MoE) 架构,允许它为不同任务策略性地激活其参数的子集。这理论上使它比传统的密集模型更高效和适应性强。
Grok-1 发布摘要
-
3140亿参数的专家混合模型,给定 Token 时有25%的权重处于激活状态
-
基础模型训练了大量文本数据,未针对任何特定任务进行微调
-
8个专家(2个激活)
-
860亿参数
-
Apache 2.0 许可证
-
博客:https://x.ai/blog/grok-os
-
代码:https://github.com/xai-org/grok-1
虽然有很多细节值得探讨,但首先记住这 5 个要点:
-
Grok是到目前为止最大的开源大语言模型(LLM),使用了接近3140亿的参数量,这在所谓的“开源”模型中是前所未有的(可能也是最大的)。它很可能采用了与GPT-4相似的专家混合(MoE)结构。
-
但请注意,这只是一个基础模型。也就是说,按照目前发布的状态,它还不能直接应用于特定的任务或对话场景。没有进一步的调整,它还不能发挥作用。因此,要想将其用作类似ChatGPT的工具,还需要进行一定的“调整”和“微调”。
-
模型的检查点定在2023年10月,它没有针对任何特定应用(比如对话)进行优化。其发布遵循Apache 2.0许可,这意味着其他公司也可以在Grok-1的基础上发布改进版或衍生产品…… 这真是令人兴奋!
-
同时,虽然人们对此感到兴奋,但我们也必须警惕潜在的隐患。
随着这种新AI的问世,安全威胁无疑会增加。例如:
-
-
存在通过查询如何制造网络武器、炸弹或其他危害性物品的未授权使用风险 => 受控AI如何应对?
-
多个开发者将发布他们版本的LLM => 标准化API缺失和使用复杂度上升的问题如何解决?
-
出现多种版本,可能会偏离原始目标 => 这种“飞速进步”会导致许多现有服务突然变得过时吗?
-
-
-
架构的细节虽然引人入胜,但过于技术化了……在此我不展开(如果你感兴趣,我们可以另行讨论)。但要知道,如果你没有高端的设备(比赛级电脑或高性能服务器),你将无法运行Grok!
如何安装 Grok
在这个 GitHub 仓库中解释了如何加载和运行 Grok-1 的指南。
克隆仓库到你的本地,开玩吧。
可以使用 torrent 客户端和此磁力链接下载权重:
magnet:?xt=urn:btih:5f96d43576e3d386c9ba65b883210a393b68210e&tr=https%3A%2F%2Facademictorrents.com%2Fannounce.php&tr=udp%3A%2F%2Ftracker.coppersurfer.tk%3A6969&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce
顺便说一句,有些人质疑为什么权重是通过 Bittorrent 磁力链接发布的。随着模型越来越大,这可能成为未来的常态。此外,通过 torrent 分发300 GB 数据比直接传输更便宜。
或从 HuggingFace 下载权重,并将其放置在“checkpoints”目录内。
打开命令行界面并运行以下命令来测试代码:
pip install -r requirements.txt
python run.py
需要注意的是,由于 Grok-1 模型的庞大体量——包含 3140 亿个参数,测试模型所使用的示例代码需要一台具有足够 GPU 内存的机器。
xAI 仓库中专家混合 (MoE) 层的当前实现未针对效率进行优化。这种实现是故意选择的,优先考虑模型正确性验证,避免开发自定义内核的需要。
如何尝试 Grok
如果你只是好奇 Grok 能做什么,它目前在 X 上可用,但仅对 Premium+ 用户开放,价格为每月16美元。
Grok-1 开源许可
本次发布的代码和相关 Grok-1 权重根据 Apache 2.0 许可证授权。
Apache 2.0 许可证是一种宽松的免费软件许可证。该许可证允许对软件进行任何目的的使用,用户能够分发它、修改它,并分发软件的修改版本。
该许可证仅适用于此仓库中的源文件和 Grok-1 的模型权重。
就在之前,马斯克起诉 OpenAI 及其联合创始人 Sam Altman 和 Greg Brockman,指控他们背离了最初成立为非营利组织的使命,转而追求利润。
也有网友调侃,OpenAI 一点都不 Open。
Grok = OpenSource
OpenAI = Closed Source
参考链接:
https://x.com/_SaxX_/status/1769593547349467288?s=20
https://x.com/itsandrewgao/status/1769454405852807432?s=20
作者其他作品:
【Java】Spring循环依赖:原因与解决方法
OpenAI Sora来了,视频生成领域的GPT-4时代来了
[Java·算法·简单] LeetCode 14. 最长公共前缀 详细解读
【Java】深入理解Java中的static关键字
[Java·算法·简单] LeetCode 28. 找出字a符串中第一个匹配项的下标 详细解读
了解 Java 中的 AtomicInteger 类
算法题 — 整数转二进制,查找其中1的数量
深入理解MySQL事务特性:保证数据完整性与一致性
Java企业应用软件系统架构演变史
到了这里,关于Grok开源来看看怎么用吧的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!