Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国

这篇具有很好参考价值的文章主要介绍了Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Ollama安装

下载Ollama

网址:https://ollama.com/
支持macOS、Linux和Windows多个平台

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

Ollama常用指令和链接

1. 常用指令

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

2. 链接
Blog:https://ollama.com/blog
Docs:https://github.com/ollama/ollama/tree/main/docs
GitHub:https://github.com/ollama/ollama
模型仓库:https://ollama.com/library

运行Ollama

以Llama 3为例

ollama run llama3

自动安装latest的版本是8B 4-bit模型,信息如下:

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

如果是70B模型,可以参考
仓库中Llama 3的介绍:https://ollama.com/library/llama3

运行之后,项目默认监听 11434 端口,终端查看

curl localhost:11434

输出:

Ollama is running

运行成功,可以在终端聊天了.

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

API 交互Ollama

按下 Ctrl + D 可以退出终端交互,但此时模型并不会退出,仍旧可以正常通过 Api 接口交互。
具体可以参考官网api文档:https://github.com/ollama/ollama/blob/main/docs/api.md

简单api交互例子,新打开一个终端,输入

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Why is the sky blue?",
  "stream": false
}'

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

退出可以从电脑右上角退出

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

基于Llama 3角色扮演

在任意目录下建一个modelfile文件。具体信息查看官网modelfile文档:
https://github.com/ollama/ollama/blob/main/docs/modelfile.md

modelfile文件:

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

FROM llama3

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Liu Bei from the Three Kingdoms period in China. Answer as Liu Bei, the assistant, only used Simplified Chinese.
"""

创建刘备的个人聊天助手,新的模型我命名为Czi

ollama create Czi -f ./Modelfile

查看模型:

ollama ls

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

运行Czi模型

ollama run Czi

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

这样就可以啦!
接下里是本地部署LobeChat,实现网页的交互

LobeChat安装

首先安装docker

这里跳过了。。。

安装LobeChat的docker 镜像和运行

LobeChat的帮助文档与 Ollama 集成。

一行代码:

docker run -d -p 3210:3210 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 lobehub/lobe-chat

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

可以看到LobeChat运行在本地3210端口,浏览器打开http://localhost:3210

这样就可以交互了!

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

默认的LobeChat没有Czi模型,我们需要添加一下~

LobeChat的帮助文档在 LobeChat 中使用 Ollama

在 设置 -> 语言模型 中找到 Ollama 的配置选项

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos

配置好了,可以跟刘皇叔在LobeChat中聊天啦!

Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国,macos文章来源地址https://www.toymoban.com/news/detail-859520.html

到了这里,关于Mac 安装Ollama和llama3,本地部署LobeChat和刘皇叔聊三国的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 免费打造个人专属的高颜值本地大模型AI助手,无限量使用 Ollama+LobeChat开源工具,在本地运行AI大模型,安全的和AI对话。

    第一步,首先安装ollama,选择对应系统的安装包 ollama官网地址:https://ollama.com/ 本问是lunix系统上安装ollama: 如果机子没有GPU显卡的话,ollama会提示只通过cpu模式运行。 测试ollama命令: 想要流畅运行,推荐配置: 4b的模型:8GB内存。 7b的模型:16GB内存。 13b模型: 32GB内存。 70b模

    2024年04月26日
    浏览(46)
  • 基于LM Studio + LLaMA3 建立本地化的ChatGPT

    4月19日,Facebook母公司Meta重磅推出了Llama3。即便大家现在对于大厂和巨头频繁迭代AI模型的行为已经见怪不怪,Meta的Llama3仍旧显得与众不同,因为这是迄今最强大的开源AI模型。LLaMA模型通常采用了类似于GPT(由OpenAI开发)的变换器(Transformer)架构。这种架构特别适合处理大

    2024年04月27日
    浏览(40)
  • LLMs之Llama3:Llama 3的简介、安装和使用方法、案例应用之详细攻略

    LLMs之Llama3:Llama 3的简介、安装和使用方法、案例应用之详细攻略 导读 :2024年4月18日,Meta 重磅推出了Meta Llama 3,本文章主要介绍了Meta推出的新的开源大语言模型Meta Llama 3。模型架构 Llama 3 是一种 自回归 语言模型,采用了优化的 Transformer 架构。调优版本使用了 监督微调(

    2024年04月22日
    浏览(55)
  • 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装

    https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装 要是失败执行,子模块更新: 需要编译 llama.cpp 的代码, 然后经过漫长的编译,就而可以

    2024年04月08日
    浏览(64)
  • 如何试用 Ollama 运行本地模型 Mac M2

    首先下载 Ollama 安装完成之后,启动 ollma 对应的模型,这里用的是 qwen:7b 命令与模型直接交互 我的机器配置是M2 Pro/ 32G,运行 7b 模型毫无压力,而且推理时是用 GPU 进行运算的,可能就是 Ollama 底层是用 llama C++ 实现的,底层做了性能优化,对 Mac特别友好。 纯C/C++实现,没有

    2024年04月10日
    浏览(53)
  • 小白Windows下通过Ollama部署使用本地模型

    运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU Ollama下载exe,直接下一步下一步没有设置可以更改 windows默认安装路径: C:UserswbigoAppDataLocalProgramsOllama 安装后会自动将该路径加入环境变量 双击图标运行后状态栏会出现小图标,右键有退出、

    2024年03月13日
    浏览(64)
  • Windows本地部署Ollama+qwen本地大语言模型Web交互界面并实现公网访问

    本文主要介绍如何在Windows系统快速部署Ollama开源大语言模型运行工具,并安装Open WebUI结合cpolar内网穿透软件,实现在公网环境也能访问你在本地内网搭建的大语言模型运行环境。 近些年来随着ChatGPT的兴起,大语言模型 LLM(Large Language Model)也成为了人工智能AI领域的热门话

    2024年04月16日
    浏览(53)
  • Llama3-8B+ LLaMA-Factory 中文微调

    Llama3是目前开源大模型中最优秀的模型之一,但是原生的Llama3模型训练的中文语料占比非常低,因此在中文的表现方便略微欠佳! 本教程就以Llama3-8B-Instruct开源模型为模型基座,通过开源程序LLaMA-Factory来进行中文的微调,提高Llama3的中文能力!LLaMA-Factory是一个开源的模型训

    2024年04月27日
    浏览(48)
  • Mac环境下安装nginx并本地部署项目

    1、前提 必须安装了homebrew,可在终端输入命令 brew -v 查看是否已经安装,如果输入指令出现版本号说明已经安装成功 如果未安装先安装(homebrew官网地址) 安装完之后再次输入 brew -v 查看是否有版本号 2、执行 brew search nginx 命令查询要安装的软件是否存在 3、执行 brew insta

    2024年02月16日
    浏览(36)
  • openWebUI+ollama&windows+不用docker+webLite本地安装

    总结一下安装教程 10核CPU 16G内存 两个web框架都可以,先说简单的 ollama-webui-lite( https://github.com/ollama-webui/ollama-webui-lite ) 轻量级,只使用nodejs 先装 https://ollama.com/download 新建文件夹 E:ProjolloamaModsSav ,cmd进入该目录 ollama run llama3,那么就会直接下载该模型到该目录下,在blob

    2024年04月27日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包