笔记本也能飞:运行chat大模型

这篇具有很好参考价值的文章主要介绍了笔记本也能飞:运行chat大模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

在过去的一年,ChatGPT的崛起彻底改变了我们与AI的交互方式。它不再是被动的信息提供者,而是成为了一个可以与我们自由交流、分享知识的伙伴。无论是生活中的琐事,还是工作中的难题,ChatGPT都能给出有价值的建议和信息。

同时,ChatGPT也在各个领域引发了深远的变革。在教育领域,ChatGPT可以为学生提供个性化的辅导,帮助他们理解复杂的概念。在商业领域,ChatGPT可以协助员工进行市场调研、数据分析等工作,提高工作效率。在娱乐领域,ChatGPT则可以为游戏和电影创作提供无限灵感。

那作为普通开发者的我们,如何拥有一个属于自己的「ChatGPT」呢?

技术选型

  • 服务器:个人笔记本,Apple M1 Pro,32 GB版本
  • 模型:shibing624/chinese-alpaca-plus-13b-pth(https://huggingface.co/shibing624/chinese-alpaca-plus-13b-pth
  • Chat界面:LlamaChat(https://github.com/alexrozanski/LlamaChat

安装步骤

shibing624/chinese-alpaca-plus-13b-pth模型

介绍

本模型是 decapoda-research/llama-13b-hf 底座模型 合并 ziqingyang/chinese-llama-plus-lora-13b 和 ziqingyang/chinese-alpaca-plus-lora-13b 两个LoRA权重, 并转化为PyTorch版本权重(.pth文件),可以直接使用或者继续训练。

下载

正式下载前,需要先注册huggingface.co账号,且该步骤需要魔法上网。

  • 安装依赖
pip install -U huggingface_hub
  • 下载模型
huggingface-cli download --token hf_*** --resume-download --local-dir-use-symlinks False shibing624/chinese-alpaca-plus-13b-pth --local-dir shibing624/chinese-alpaca-plus-13b-pth
  • 镜像网站✨✨✨
镜像网站:https://hf-mirror.com/,具体内容见网页详情。

LlamaChat

介绍

LlamaChat是一款MacOS应用程序,可以让你用LLaMA、Alpaca 、 GPT4等模型进行聊天。

下载
  • 最新版本的LlamaChat,链接:https://github.com/alexrozanski/LlamaChat/releases
安装
配置
聊天

总结

与所有技术一样,ChatGPT也引发了一些担忧和争议。人们担心AI的发展会取代人类的工作,或者导致信息泛滥、假消息传播等问题。但这些担忧并不应阻碍我们对AI的探索和发展。正如ChatGPT所示,AI的真正价值在于它能够帮助我们解决问题、提升生活质量,而不是替代我们。

至此,大家本地已经有了一个属于自己的「ChatGPT」,希望它在未来能够带给我们更多的惊喜和可能性。文章来源地址https://www.toymoban.com/news/detail-815519.html

到了这里,关于笔记本也能飞:运行chat大模型的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 笔记本电脑上部署LLaMA-2中文模型

    尝试在macbook上部署LLaMA-2的中文模型的详细过程。 (1)环境准备 MacBook Pro(M2 Max/32G); VMware Fusion Player 版本 13.5.1 (23298085); Ubuntu 22.04.2 LTS; 给linux虚拟机分配8*core CPU 16G RAM。 我这里用的是16bit的量化模型,至少需要13G内存,如果4bit的只需要3.8G内存,当然上述不包含系统本身需要

    2024年04月09日
    浏览(26)
  • 最佳Android系统 | 运行在台式机、笔记本手提电脑的安卓Android系统

    最佳Android系统 | 运行在台式机、笔记本手提电脑的安卓Android系统 2022年2月1日 团队技术探索 Android 您是否知道,即使有几个升级版本,如Windows 10和10.1,即使这样,Android应用程序也在不断增长,因为它们使用起来很有趣并且具有非常友好的用户界面?但是如果你没有预先安

    2024年02月05日
    浏览(44)
  • 单个消费级GPU笔记本win电脑测试LLaMA模型

    1、LLaMa模型代码:       GitHub - facebookresearch/llama: Inference code for LLaMA models       不同模型对参数规模要求不同,有7B、13B、30B(33B)和65B四个数据规模。 Model MP 7B 1 13B 2 30B(33B) 4 65B 8 2、环境检查   (1)、检查CUDA环境是否已安装(没有的话先安装CUDA):  (2)、检查是否已

    2024年02月08日
    浏览(38)
  • 笔记本电脑上的聊天机器人: 在英特尔 Meteor Lake 上运行 Phi-2

    对应于其强大的能力,大语言模型 (LLM) 需要强大的算力支撑,而个人计算机上很难满足这一需求。因此,我们别无选择,只能将它们部署至由本地或云端托管的性能强大的定制 AI 服务器上。 如果我们可以在典配个人计算机上运行最先进的开源 LLM 会如何?好处简直太多了:

    2024年04月17日
    浏览(37)
  • 跑在笔记本里的大语言模型 - GPT4All

    GPT4All 官网给自己的定义是:一款免费使用、本地运行、隐私感知的聊天机器人,无需GPU或互联网。 从官网可以得知其主要特点是: 本地运行(可包装成自主知识产权🐶) 无需GPU(穷人适配) 无需联网(某国也可运行) 同时支持Windows、MacOS、Ubuntu Linux(环境要求低) 是一

    2024年02月03日
    浏览(29)
  • SPSS modeler用关联规则Apriori模型对笔记本电脑购买事务销量数据研究

    自2011年全球PC出货量达到历史最高的3.64亿台后,全球PC市场出货量已经连续四年下滑 ( 点击文末“阅读原文”获取完整 代码数据 )。 相关视频 市场调研公司Gartner最新数据显示,2015年Q3全球PC销量同比降低7.7%,至7370万台。IDC数据更加不乐观,2015年Q3全球PC出货量共计7100万

    2024年02月02日
    浏览(48)
  • 超简单,不用GPU,3步教你轻松在笔记本上部署聊天大模型 LLaMA

    大家好啊,我是董董灿。 今天带大家在自己的电脑(笔记本)上部署一个类似于 chatGPT 的 AI 聊天大模型。 部署完之后,你就拥有了一个私人 AI 聊天机器人,无需联网,随时进行实时对话。 大模型我们都不陌生了,但是以 chatGPT 为代表的大模型是闭源的,他们的源代码不开放,

    2024年01月20日
    浏览(30)
  • 超详细教程:如何在笔记本上run起大模型?没有GPU也可以!(Windows/Mac)

    好久没更新了,一是最近一直在研究生物医药大模型相关的内容,二是。相信不止是我,每一位工程师朋友都已经感受到大语言模型带给整个行业的颠覆性改变。最近身边就有不少的小伙伴入坑了大模型技术,而即使仍在观望的同学,也对大模型这一崭新的技术表达了深厚的

    2024年02月04日
    浏览(34)
  • 【个人笔记本】本地化部署详细流程 LLaMA中文模型:Chinese-LLaMA-Alpaca-2

    不推荐小白,环境配置比较复杂 下载原始模型:Chinese-LLaMA-Alpaca-2 linux部署llamacpp环境 使用llamacpp将Chinese-LLaMA-Alpaca-2模型转换为gguf模型 windows部署Text generation web UI 环境 使用Text generation web UI 加载模型并进行对话 笔记本环境: 操作系统:win11 CPU:AMD R7535HS GPU:笔记本4060显卡

    2024年02月08日
    浏览(46)
  • 从移动硬盘或U盘安装苹果笔记本电脑MacOS系统或叫解决安装MacOS系统时“准备安装时发生错误,请尝试重新运行此应用程序”的问题

    苹果的系统不管你怎么整,最后他都可以通过它自己的办法,让用户自己可以修复原来的系统或重新自己安装一个新的系统。修复今天不说,我们今天讲如何重装一个新的系统。 要重新装一个系统的原因有很多比如苹果笔记本电脑的开机密码忘了并且连AppleID也不记得了,反

    2024年02月07日
    浏览(93)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包