Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一

这篇具有很好参考价值的文章主要介绍了Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

 代码为我自己写的 python 程序,应该是全网最简单的大模型部署方案,一个模型文件1.3GB,一个python代码即可开始玩耍~

首先说明,本文下面的内容需要一点点python基础,需要会安装 python和 pip 安装依赖库,如果你不会或者不想这么麻烦,只想要下载就能马上使用的大模型离线整合包,那抱歉,目前只支持 Windows ,Windows系统的离线整合包文章介绍链接为:

https://zhuanlan.zhihu.com/p/670964259

https://mp.weixin.qq.com/s/W-b7AUXlCCggLpz_8IkLBQ

https://mp.weixin.qq.com/s/RD0rbJakH3HS-DaIZZ-Lmw

下面开始正文

CPU运行:

1 安装python,并且需要保证python版本大于3.8,最好在虚拟环境里面安装;

2 安装 llama cpp python 

安装指令: 

pip install llama-cpp-python  -i https://pypi.tuna.tsinghua.edu.cn/simple/      

3 下载模型文件,百度网盘链接:https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA  提取码:1111  ;里面有一个通义千问大模型的有闪退的旧版本压缩文件,下载后解压文件夹里面有一个名文章来源地址https://www.toymoban.com/news/detail-821571.html

到了这里,关于Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 通义千问本地化部署不调用GPU只调用CPU的检查方法

    今天部署本地版通义千问的时候遇到一个问题。 启动他的cli_demo.py调用的一直都是CPU模式的。 检查cuda已经正确安装,后面发现是torch即PyTorch的安装问题。 我安装torch的时候,用的是默认指令,没有增加别的参数。 检测一下,输出False即是错误的。 根据网上说的,可以在网上

    2024年02月10日
    浏览(45)
  • 初步体验通过 Semantic Kernel 与自己部署的通义千问开源大模型进行对话

    春节之前被 Semantic Kernel 所吸引,开始了解它,学习它。 在写这篇博文之前读了一些英文博文,顺便在这里分享一下: Intro to Semantic Kernel – Part One Intro to Semantic Kernel – Part Two Build a custom Copilot experience with your private data using and Kernel Memory Semantic Kernel: The New Way to Create Artific

    2024年02月19日
    浏览(46)
  • 云端服务器应用实践:函数计算X 通义千问快速部署 AI 个人助手应用

    🎬 鸽芷咕 :个人主页  🔥 个人专栏 :《写作技巧》 《C++干货基地》 ⛺️生活的理想,就是为了理想的生活! 通义千问,是阿里云推出的一个超大规模的语言模型,功能包括多轮对话、文案创作、逻辑推理、多模态理解、多语言支持。能够跟人类进行多轮的交互,也融入了

    2024年02月02日
    浏览(67)
  • 通义千问,你体验了吗?Serverless 一键部署 AIGC 经典场景 5 选 1,晒作品赢 Airpods!

    体验活动链接:https://developer.aliyun.com/topic/aigc_fc 2023 年 5 月 25 日 - 6 月 25 日,函数计算团队全新上线 “Serverless 一键部署 通义千问 预体验、文生图、图生图、图生文、文生文 5 大经典 AI 场景,让您获得通义千问 30 次对话预体验机会,同时简单、高效实现一键部署图像生成

    2024年02月12日
    浏览(56)
  • 【通义千问】继ChatGPT爆火后,阿里云的大模型“通义千问”它终于来了

    通义千问 顾名思义,通顺流畅的语句可以回答成千上万的问题。这个名字来源于两个方面: “ 通义 ”意味着该模型具有广泛的知识和普适性,可以理解和回答各种领域的问题。作为一个大型预训练语言模型,“通义千问”在训练过程中学习了大量的文本数据,从而具备了跨

    2023年04月13日
    浏览(76)
  • 【文心一言 vs. 通义千文】一言对千问:自百度之后,阿里终于还是出手了——通义千问

    https://tongyi.aliyun.com/ 通义千问 https://tongyi.aliyun.com/ 目录 通义千问 :  达摩院 GPT-30B 模型复现 GPT-3 模型介绍 GPT3中文30B参数量文本生成模型 模型描述 期望模型使用方式以及适用范围 如何使用 模型局限性以及可能的偏差 训练数据介绍 模型训练流程 预处理 训练 推理加速 数

    2024年02月09日
    浏览(55)
  • 【Java接入通义千问】

    通义千问是阿里巴巴达摩院研发的预训练语言模型,提供了一系列的API和SDK可以方便地进行接入。本文将介绍如何使用SpringBoot接入通义千问,并实现搜索功能。 首先,我们需要在pom.xml文件中添加以下依赖项: 在application.properties文件中,配置以下内容,设置通义千问的API

    2024年02月13日
    浏览(87)
  • java调用通义千问API

    想问问大家,更喜欢用文心千帆还是通义千问呢?排除openai 前面废话比较多,更适合小白体质的文章(不过学到这的应该是中白吧)。=v= 首先,找到通义千问在哪里,直接在阿里云官网主页: 然后点击搜索通义千问: 点击申请通义千问API: 我这里是第一次申请,然后系统提示

    2024年02月04日
    浏览(49)
  • 阿里云“通义千问”开源,可免费商用

    我是卢松松,点点上面的头像,欢迎关注我哦! 阿里云成为国内首个加入大模型开源行列的大型科技企业。就在昨天,阿里云公开表态,把自家的通义千问大模型开源。 阿里云把通用70亿参数模型,包括Qwen-7B和对话模型Qwen-7B-Chat这两款大模型产品给开源了。需要注意的是,

    2024年02月13日
    浏览(45)
  • 阿里入局,通义千问备受期待

    继百度文心一言发布三周之后,4月7日阿里通义大模型终于推出通义千问,阿里正式加入ChatGPT战局。下午市场一片大热,对于深耕NLP多年的阿里,大家有足够的期待。 “你好,我叫通义千问。初次见面,请多指教。”4月7日下午,阿里大模型“通义千问”在阿里云官方微博以

    2023年04月16日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包