Mac pro M2 ---“本地部署chatGPT”

这篇具有很好参考价值的文章主要介绍了Mac pro M2 ---“本地部署chatGPT”。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

        

目录

一、打开终端

二、模型下载 

坑1:你git不下来

三、安装pytorch依赖,转换模型格式

坑2:当时是python3 quantize.py 7B,但是执行完一直出错

 四、设置对话模型,给他起个名字

 五、LLaMA资料补充


        对于有些小可爱不会科学上网,不知道如何整个国外手机号去注册chatgpt,FaceBook发布了基于LLM的人工智能大语言模型LLaMA,本地就可以部署

Supported platforms:

  •  Mac OS
  •  Linux
  •  Windows (via CMake)
  •  Docker

github:https://github.com/ggerganov/llama.cpp 

小白操作跟紧咯,昨天踩了坑了,今天帮你们规避一下风险。

一、打开终端

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

现在ls看一下我们的文件夹里面有什么

Mac pro M2 ---“本地部署chatGPT”

二、模型下载 

git clone https://huggingface.co/nyanko7/LLaMA-7B

坑1:你git不下来

必须有解决方法,  我开始谷歌了一个方法:把https改成http,还是git不下来,点击链接,进去下载Mac pro M2 ---“本地部署chatGPT”

     随后在models目录建立模型子目录7B:

mkdir 7B

此时 ls 看一下文件目录

Mac pro M2 ---“本地部署chatGPT”

 你会少几个文件,是因为我跑完了才截的图,现在你目前有的文件放到他对应的位置上。

三、安装pytorch依赖,转换模型格式

# install Python dependencies
python3 -m pip install torch numpy sentencepiece

# convert the 7B model to ggml FP16 format
python3 convert-pth-to-ggml.py models/7B/ 1

此时的输出应该是这个样子Mac pro M2 ---“本地部署chatGPT”

 将模型转换成4位格式

坑2:当时是python3 quantize.py 7B,但是执行完一直出错

我咨询了chatgpt,给的方法全部都用了,但是没有什么效果。遇事不解,直接issue

error:python3 quantize.py 7B · Issue #621 · ggerganov/llama.cpp · GitHubWhen I tried the llama model and run :python3 quantize.py 7B for operation, ``` the "quantize" script was not found in the current location appeared If you want to use it from another location, set the -- quantify script path argument fr...https://github.com/ggerganov/llama.cpp/issues/621用了大佬给的方法解决了,他也在github里面更新了相关的操作:

# quantize the model to 4-bits (using method 2 = q4_0)
./quantize ./models/7B/ggml-model-f16.bin ./models/7B/ggml-model-q4_0.bin 2

# run the inference
./main -m ./models/7B/ggml-model-q4_0.bin -n 128

当运行完这个,基本已经成功了。如果你想问他问题,-p 后面加的你要问的东西,例如:

./main -m ./models/7B/ggml-model-q4_0.bin -t 8 -n 256 -p "what's your name:"

Mac pro M2 ---“本地部署chatGPT”

 四、设置对话模型,给他起个名字

        但是,我觉得这玩意真的有点呆逼啊,估计是这玩意有点不行,自己对话凑活能用

./main -m ./models/7B/ggml-model-q4_0.bin -t 8 -n 256 --repeat_penalty 1.0 --color -i -r "sxt:" \
                                           -p \
"
sxt: Hello, jj.
jj: Hello. How may I help you today?
"

Mac pro M2 ---“本地部署chatGPT” 

 五、LLaMA资料补充

Meta最新模型LLaMA细节与代码详解_常鸿宇的博客-CSDN博客

 这个大哥是写的真详细,看他就完了。文章来源地址https://www.toymoban.com/news/detail-438339.html

到了这里,关于Mac pro M2 ---“本地部署chatGPT”的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MLC-LLM 部署RWKV World系列模型实战(3B模型Mac M2解码可达26tokens/s)

    我的 ChatRWKV 学习笔记和使用指南 这篇文章是学习RWKV的第一步,然后学习了一下之后决定自己应该做一些什么。所以就在RWKV社区看到了这个将RWKV World系列模型通过MLC-LLM部署在各种硬件平台的需求,然后我就开始了解MLC-LLM的编译部署流程和RWKV World模型相比于MLC-LLM已经支持的

    2024年02月10日
    浏览(36)
  • M1芯片Mac book pro部署stable diffusion模型

    使用的电脑配置: 本文中,我的实验环境是 Apple M1CPU 的 MacBook Pro,机器内存容量为 16GB。同样还能够运行本文的设备包含: 2022 年生产的MacBook Air (M2)、13寸的 MacBook Pro (M2)、Mac Studio (2022) 2021 年生产的 14寸和16寸的 MacBook Pro、24寸的 iMac (M1) 2020 年生产的 Mac mini (M1)、MacBook Air

    2024年02月15日
    浏览(48)
  • Mac(macBook M2pro)上环境变量不生效的原因

    /etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc 在一些配置环境变量的教程中,一般都是让我们在 ~/.bash_profile 添加相应的暴露(export) 比如: 这也是在类unix操作系统的一种默认的方式 但是,见名知意,bash_profile 只是在bash命令行才会永久有效,在没有自定义的情

    2024年02月03日
    浏览(39)
  • Pixelmator Pro Mac版 v3.5 图像处理软件 兼容 M1/M2

    在当今数字化时代,图像编辑软件成为了许多人必备的工具之一。无论您是摄影师、设计师还是普通用户,您都需要一款功能强大、易于使用的图像编辑软件来处理和优化您的照片和图像。而Pixelmator Pro for Mac正是满足这一需求的理想选择。 Pixelmator Pro for Mac是一款专为Mac用户

    2024年01月23日
    浏览(46)
  • macOS访达当前目录打开终端

    在windows 11中,可以在【此电脑】中任意文件夹中鼠标右键,可能直接在当前目录打开【终端】。用久也感觉还是很方便的。 与是在macOS中,我也想得到类似的功能。如何实现记录下来。 我的实战环境是: 操作系统:macOS Venture 13.4 终端:iTerm2 使用你喜欢的任意文本编辑器创

    2024年02月15日
    浏览(37)
  • 【Docker】快速部署 ChatGPT Next Web,一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 & Gemini Pro 模型。

    ChatGPT Next Web 可以一键免费部署你的私人 ChatGPT 网页应用,支持 GPT3, GPT4 Gemini Pro 模型。你无需任何复杂的配置,只需几行命令就可以完成部署。我们将通过 Docker 来部署这个应用。 下载 Docker 镜像 首先,我们需要从 Docker Hub 下载 ChatGPT 应用的 Docker 镜像。 Docker 版本需要在

    2024年03月10日
    浏览(72)
  • 在Mac中打开终端的3种方法

    在使用Mac时,有时需要深入研究设置,或者完成一些开发人员级的命令行任务。为此,你需要终端应用程序来访问macOS上的命令行。下面是如何启动它。 如何使用聚焦搜索打开终端 也许打开终端最简单、最快的方法是通过聚焦搜索。要启动聚焦搜索,请单击菜单栏中的小放大

    2024年04月15日
    浏览(34)
  • mac在终端中使用vscode打开文件

    我们都知道使用open命令 + 指定文件(文件夹)便可打开文件,但是mac自带的文件应用不如vscode好用,如何直接使用一个命令采用vscode的方式来打开指定文件呢?步骤如下:

    2024年02月11日
    浏览(50)
  • mac快速打开处于当前文件夹的终端

    设置-键盘-快捷键 服务-文件和文件夹-新建位于文件夹位置的终端 缺点:必须选中所需打开的文件夹 如需打开 a/b/c,则需要定位到b的位置,选中c文件夹,按下快捷键 不能在c内部打开 思路:新建TXT的自动操作(第4种) 打开 自动操作 新建应用程序 贴代码 保存app 按住cmd拖

    2024年02月14日
    浏览(68)
  • 无需GPU无需网络“本地部署chatGPT”(更新中文模型)

    想当初图像生成从DELL到stable diffusion再到苹果的移动部署过了两三年吧 聊天bot才发展几个月就可以边缘部署了,如果苹果更新silicon,npu和运存翻倍,争取apple watch也能本地内置,最快ios18 mac、ipad、iPhone能内置吧 又是一个平民百姓都高兴的开源项目,chatGPT这种级别的模型甚至

    2023年04月13日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包