Mac x86 Ollama使用入门

这篇具有很好参考价值的文章主要介绍了Mac x86 Ollama使用入门。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Mac上可以本地运行大模型,作为Mac x86硬件,比较好的选择是Ollama,但有一些准备工作,需要明确一下,否则坑也会比较多。

1、下载地址: 官网

2、也可以通过安装Docker Desktop(下载: x86 Docker Desktop),再下载Docker官方的Ollama。

3、安装Ollama并运行命令:ollama run gemma

4、安装并运行Docker Desktop,再选择Ollama容器后下载运行,这个容器有仅包含客户端的版本,和直接在容器内运行Ollama的版本,请大家自行选择。

使用

1、在运行命令后,直接在命令行运行聊天。

2、或使用网页: http://localhost:8505

不管理用哪种方式,都需要运行Docker来启动后台网站服务。 

3、关于是否启用GPU加速,主要影响性能。

https://ollama.com/blog/ollama-is-now-available-as-an-official-docker-image文章来源地址https://www.toymoban.com/news/detail-859008.html

到了这里,关于Mac x86 Ollama使用入门的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • MacBook M1 VulnHub靶机搭建(arm Mac搭建x86 ova镜像)

    个人博客: xzajyjs.cn 自从换了M1系的arm Mac后,原本的Vulnhub上的几乎所有靶场按照之前的方法都无法正常搭建了(VirtualBox),在外网论坛上找了一遍,有一个相对麻烦一些的替代方法,但效果还是不错的,并且几乎所有Vulnhub上的x86靶场镜像都可以使用了。 Vulnhub上下载靶场镜像

    2024年02月07日
    浏览(56)
  • 【MacOS】M系列Mac使用Python类库架构不匹配的问题-(have ‘x86_64‘, need ‘arm64‘)

    使用MacOS做Python开发时,用到了 lxml 依赖库,运行时系统提示 其中核心的提示是 (have ‘x86_64’, need ‘arm64’) 表明这个类库目前安装的是x64架构,并不是M系列的ARM架构,故需要重新把该类库安装为 arm 版本的。常见的处理方式,是卸载该类库,下载类库源码手动安装,但是作

    2024年02月11日
    浏览(52)
  • 开源模型应用落地-工具使用篇-Ollama(六)

    一、前言     在AI大模型百花齐放的时代,很多人都对新兴技术充满了热情,都想尝试一下。但是,实际上要入门AI技术的门槛非常高。除了需要高端设备,还需要面临复杂的部署和安装过程,这让很多人望而却步。不过,随着开源技术的不断进步,使得入门AI变得越来越容易

    2024年03月08日
    浏览(53)
  • 如何在本地使用Ollama运行开源LLMs

    本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。 与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。 我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Me

    2024年04月27日
    浏览(36)
  • Spring AI 使用本地 Ollama Embeddings

    使用 OpenAI 的 Embeddings 接口是有费用的,如果想对大量文档进行测试,使用本地部署的 Embeddings 就能省去大量的费用,所以我们尝试使用本地的 Ollama Embeddings。 首先本地安装 Ollama: https://ollama.com/download 即使你电脑没有性能很强的显卡,仅仅依靠 CPU 也能运行一些参数量较小的

    2024年04月27日
    浏览(45)
  • 小白Windows下通过Ollama部署使用本地模型

    运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU Ollama下载exe,直接下一步下一步没有设置可以更改 windows默认安装路径: C:UserswbigoAppDataLocalProgramsOllama 安装后会自动将该路径加入环境变量 双击图标运行后状态栏会出现小图标,右键有退出、

    2024年03月13日
    浏览(64)
  • 使用Ollama在本地运行AI大模型gemma

    本次本人用到的软件汇总:百度网盘下载 https://github.com/ollama/ollama/releases 我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建 变量名:OLLAMA_MODELS (固定变量名) 变量值:E:OllamaLib (写自己要存放的路径) 先配置好这个变量,这个是ollama的存储路径。

    2024年04月25日
    浏览(45)
  • Win10环境下使用Ollama搭建本地AI

    前言: 1、Ollama需要安装0.1.27版本,高于这个版本在执行Ollama run 指令时会频繁触发一些奇奇怪怪的问题。 2、4.3篇章是重点,若你需要使用web访问的话,莫要忘记! 3、本文章适合新手。 4、篇章5中会介绍如何在vscode中利用ollama实现类似copilot的功能。 1、安装Ollama         前

    2024年04月28日
    浏览(36)
  • 使用 ollama 部署最新的Llama 3 70B本地模型

    在本地启动并运行大型语言模型。运行Llama 3,Mistral, Gemma, Code Llama和其他模型。自定义并创建您自己的。 综合优点: 快速下载+容器自动运行大模型,现在下载,马上上手。 本地利用 cpu 运行大模型,本地安全可靠。 ollama 命令,管理大模型相对方便,也可以多个大模型中切

    2024年04月25日
    浏览(53)
  • 使用1panel部署Ollama WebUI(dcoekr版)浅谈

    1Panel简化了docker的部署,提供了可视化的操作,但是我在尝试创建Ollama WebUI容器时,遇到了从github拉取镜像网速很慢的问题,所以这里记录一下,同时也希望能够帮助到其他朋友 docker配置github仓库ghcr国内镜像加速,推荐使用1panel方式二:配置镜像仓库,可视化拉取。 先将镜

    2024年04月22日
    浏览(70)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包