ChatGPT 已经成为过去,在您的笔记本电脑中免费运行 Llama 2(源码含模型)

这篇具有很好参考价值的文章主要介绍了ChatGPT 已经成为过去,在您的笔记本电脑中免费运行 Llama 2(源码含模型)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

指示:

现在您可以在计算机本地运行 ChatGPT 和 LLaMA-2。Meta刚刚发布了这个拥有700亿参数的模型,比任何其他Open模型都要好,甚至击败了Falcon 40B!

为此,您需要打开终端,转到项目文件夹,然后 git clone llama.cpp 项目

$ git clone https://github.com/ggerganov/llama.cpp

现在进入该文件夹并使用 make 构建项目:

$ cd llama.cpp
$ make

然后您需要从 Meta 网站请求访问该模型,并接受使用它的条款和条件,速度非常快

收到接受电子邮件后,安装 git-lfs 并将 llama-2–13b-chat 模型从 Hugging Face 下载到本地 llama.cpp/models 文件夹

$ brew install git-lfs

$ git-lfs install

$ cd ./models

$ git clone https://huggingface.co/meta-llama/Llama-2-13b-chat

现在确保您已经安装了 3.10 版本的 python,然后创建一个虚拟环境,激活它并使用 pip 安装所需的 python 库

$ cd ..

$ python3 — version

$ python3 -m venv venv

$ source venv/bin/activate

$ pip3 install -r requirements.txt

为了在我们的小型笔记本电脑上运行这个巨大的 LLM,我们需要使用以下命令文章来源地址https://www.toymoban.com/news/detail-632101.html

到了这里,关于ChatGPT 已经成为过去,在您的笔记本电脑中免费运行 Llama 2(源码含模型)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【VISIO安装问题】无法安装64位版本的office,因为在您的PC上找到以下32位程序

    无法安装64位版本的office,因为在您的PC上找到以下32位程序 当我们想要安装visio 64位程序的时候,我们的电脑提示这种错误,可能是我们电脑上32位 visio程序并未删除干净! 直接卸载电脑上的32位visio程序有时候可能卸载不了,或者卸载不干净,此时我们就要尝试以下方法解决

    2024年02月11日
    浏览(59)
  • HTTP协议演进:为什么说HTTP/1.1的时代已经过去了

    前言   欢迎来到今天的每日一题,每日一提。昨天聊到了,HTTP 是什么。有哪些组成部分。并且最后提到了 HTTP 的一些缺点,比如:性能较低,容易导致网络拥塞和延迟,不支持服务器推送等等。设计协议的大佬们,对这样的缺点肯定是不能容忍的,所以 HTTP2 它来了。 什

    2023年04月17日
    浏览(41)
  • 分库分表已成为过去式,使用分布式数据库才是未来

    转载至我的博客 https://www.infrastack.cn ,公众号:架构成长指南 当我们使用 Mysql数据库到达一定量级以后,性能就会逐步下降,而解决此类问题,常用的手段就是引入数据库中间件进行分库分表处理,比如使用 Mycat 、 ShadingShpere 、 tddl ,但是这种都是过去式了,现在使用分布

    2024年02月19日
    浏览(47)
  • 在笔记本上搭建一个属于自己的ChatGPT

    随着ChatGPT的流行,许多开发者想要尝试搭建一个ChatGPT服务,本文对如何在电脑上搭建进行入门。 1.安装Python和必要的库 首先,需要在你的笔记本上安装Python和必要的库。你可以从Python官方网站(https://www.python.org/downloads/)下载最新版本的Python,然后使用pip安装以下必要的库

    2024年02月11日
    浏览(43)
  • ChatGPT和GPT-4带你选笔记本电脑

      大家好,我是herosunly。985院校硕士毕业,现担任算法研究员一职,热衷于机器学习算法研究与应用。曾获得阿里云天池比赛第一名,CCF比赛第二名,科大讯飞比赛第三名。拥有多项发明专利。对机器学习和深度学习拥有自己独到的见解。曾经辅导过若干个非计算机专业的

    2023年04月16日
    浏览(36)
  • 笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

    如果通过GPU来运行,一般办公电脑的显卡可能达不到所需的要求,所以,可以通过CPU+内存的方式花最低的代价来部署一套本地运行AI的模型。 1、首先下载CPU-Z,运行看一下电脑当前的指令集是否包含AVX512,非AVX512指令部署完应该也能运行,但可能运行速度会非常慢。(我的电

    2024年02月04日
    浏览(50)
  • windows 更新可能已经自动替换了您的AMD图形驱动程序

    AMD Radeon Software是用于Advanced Micro Devices的显卡和APU的设备驱动程序和实用程序软件包。它的图形用户界面是用Electron构建的,并且与 64 位 Windows 和 Linux 发行版兼容。 功能 Radeon Software 包括以下功能集:游戏资料管理、超频和欠压、性能监控、录制和流式传输、捕获的视频和屏

    2024年02月12日
    浏览(54)
  • 颠覆Android开发行业未来,让Kotlin成为您的新宠

    看看这位老哥的回答: kotlin语言有前景吗? 看看在职高级开发怎么说的: Kotlin是一种基于Java虚拟机(JVM)的静态类型编程语言,可以与Java代码互相调用、混合使用。Kotlin受到了许多现代编程语言的影响,如Swift、Scala、Groovy和C#,它被认为是一种功能强大、直观易用、安全

    2024年02月02日
    浏览(49)
  • 过去一周的刷题笔记

    1.左移()一位相当于乘2,右移()一位相当于除2(不完全等同), 2.格林编码 /*当 n == 1 ,返回 [0,1] . 当 n == 2 ,返回 [0,1,3,2] . 当 n == 3 ,返回 [0,1,3,2,6,7,5,4] . 当 n == …… ,返回 [0,1,3,2,6,7,5,4,……] . 可见当 n == k,就是在 n == k - 1 的情况下增加了一些数字。并且根据题意知道,

    2024年02月02日
    浏览(39)
  • Netty是一个由JBOSS提供的开源Java框架,目前已经成为Github上的独立项目

    Netty是一个由JBOSS提供的开源Java框架,目前已经成为Github上的独立项目。它提供了一个异步、事件驱动的网络应用程序框架和工具,用于快速开发高性能、高可靠性的网络服务器和客户端程序。 Netty是一个基于NIO的客户、服务器端的编程框架,使用Netty可以确保快速和简单地开

    2024年01月16日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包