如何在本地使用Ollama运行开源LLMs

这篇具有很好参考价值的文章主要介绍了如何在本地使用Ollama运行开源LLMs。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文将指导您下载并使用Ollama,在您的本地设备上与开源大型语言模型(LLMs)进行交互的强大工具。

与像ChatGPT这样的闭源模型不同,Ollama提供透明度和定制性,使其成为开发人员和爱好者的宝贵资源。

我们将探索如何下载Ollama并与两个令人兴奋的开源LLM模型进行交互:Meta的基于文本的模型LLaMA 2和LLaVA,一个可以处理文本和图像的多模态模型。

(本文内容参考:java567.com)文章来源地址https://www.toymoban.com/news/detail-860312.html

如何下载Ollama

要下载Ollama,请访问Ollama的官方网站并点击下载按钮。

如何让ollama处理图片,开源,人工智能,chatgpt,语言模型,AIGC,gpt

Ollama支持3种不同的操作系统,Windows版本处于预览模式。

如何让ollama处理图片,开源,人工智能,chatgpt,语言模型,AIGC,gpt

您可以根据您的操作系统选择可执行文件,在成功下载可执行文件后,运行可执行文件进行安装。

对于Linux用户,您需要执行屏幕上显示的命令,而不是下载可执行文件。

如何运行Ollama

为了向您展示在本地使用开源LLMs的强大功能,我将用不同的开源模型和不同的用例展示多个示例。这将帮助您轻松使用未来的任何开源LLM模型。

那么,让我们从第一个示例开始吧!

如何运行Meta的LLama2模型

Llama 2模型是Meta的开源LLM模型,我们将像使用ChatGPT(免费版本)一样与之交互,只是基于文本的交互。

首先,让我们使用以下命令下载模型:

ollama run llama2

在下载模型后,您应该看到类似于以下输出:

pulling manifest
pulling 8934d96d3f08... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 3.8 GB
pulling 8c17c2ebb0ea... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 7.0 KB
pulling 7c23fb36d801... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.8 KB
pulling 2e0493f67d0c... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   59 B
pulling fa304d675061... 100% ▕████████████████████████████████████████████████████████████████

您应该在下载模型后看到类似于上述内容的输出。

现在,它应该会要求您发送一条消息或提示。让我们问一下llama2:“你能为我做什么?”(您可以问任何您想问的问题)。

如果您问的是上面的同样问题,则应该得到类似于以下回复:

>>> 你能为我做什么?

作为负责任的AI语言模型,我在这里帮助您解答任何您可能遇到的问题或任务。以下是我可以帮助您的一些示例:

1. 回答问题:我可以提供有关各种主题的信息,从科学技术到历史文化。
2. 生成想法:我可以帮助您为创意项目出谋划策,或提供解决问题的建议。
3. 写作辅助:我可以帮助您进行写作任务,例如校对、编辑和建议替代词或短语。
4. 翻译:我可以将文本从一种语言翻译成另一种语言。
5. 摘要内容:我可以将长篇的文本,如文章或文档,总结为更简短、更易消化的版本。
6. 创造力:我可以帮助您生成故事、诗歌或其他形式的创作的创意。
7. 语言学习:我可以通过提供语法解释、词汇表和练习题来帮助您学习一门新语言。
8. 聊天:我在这里与您聊天,并对您想讨论的任何问题或主题提供回复。

如果有任何特定的事情需要我帮助您,请告诉我。

>>> 发送消息(/? 获取帮助)

这就是我从llama2得到的回应。

要退出程序,您可以键入/exit。

现在让我们运行一个多模态模型,您可以发送一张图片并基于此提问。

如何运行LLaVA模型

LLaVA是一个开源多模态LLM模型。多模态模型可以接受多种类型的输入,并相应地生成响应。

使用此模型,我们现在将传递一张图片并根据此提问。

所以,首先要做的是,让我们下载模型:

ollama run llava

成功下载模型后,您应该在终端看到类似于以下内容:

pulling manifest
pulling 170370233dd5... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 4.1 GB
pulling 72d6f08a42f6... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏ 624 MB
pulling 43070e2d4e53... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏  11 KB
pulling c43332387573... 100% ▕██████████████████████████████████████████████████████████████████████████████████████████▏   67 B
pulling ed11eda7790d... 100% ▕████████████████████████████████████████████████████████████

我将使用来自pexels的这张图片。

这是我从LLaVA得到的输出:

>>> 这张图片里是什么? ./Downloads/test-image-for-llava.jpeg
已添加图像'./Downloads/test-image-for-llava.jpeg'
该图像显示一个人正在穿越一个十字路口。可以看到交通信号灯,街道上停着一辆公共汽车。道路上标有车道标线和行人过街信号。该地区似乎是城市的,周围没有可见的建筑或结构。

>>> 发送消息(/? 获取帮助)

您可以看到这是对图片的准确解释。

随意尝试其他内容,尽情享受吧。

结论

就是这样!使用Ollama,您可以在自己的设备上尝试强大的LLM模型,如LLaMA 2和LLaVA。

下载Ollama,探索开源大型语言模型的激动人心的世界吧!

(本文内容参考:java567.com)

到了这里,关于如何在本地使用Ollama运行开源LLMs的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【linux 使用ollama部署运行本地大模型完整的教程,openai接口, llama2例子】

    # 安装相应的包 # 开启ollama服务端! # 启动llama2大模型(新开一个终端) # 如果不想启动运行,只下载可以 在启动完后,就可以对话了 # python接口对话   # OpenAI适配接口对话 # CUR流式接口 # 参考 llama2 (ollama.com) https://ollama.com/library/llama2 OpenAI compatibility · Ollama Blog https://ollama

    2024年03月25日
    浏览(52)
  • Elasticsearch:使用在本地计算机上运行的 LLM 以及 Ollama 和 Langchain 构建 RAG 应用程序

    无需 GPU 的隐私保护 LLM。在本博客中,我将演示使用不同的工具 Ollama 构建的 RAG 应用程序。 与本文相关的所有源代码均已发布在 github上。 请克隆存储库以跟随文章操作。我们可以通过如下的方式来克隆: Ollama 是一个轻量级且灵活的框架,专为在个人计算机上本地部署 LL

    2024年04月16日
    浏览(40)
  • 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装

    https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】(2):在linux搭建环境,编译ollama代码,测试qwen大模型,本地运行速度飞快,本质上是对llama.cpp 项目封装 要是失败执行,子模块更新: 需要编译 llama.cpp 的代码, 然后经过漫长的编译,就而可以

    2024年04月08日
    浏览(52)
  • Spring AI 使用本地 Ollama Embeddings

    使用 OpenAI 的 Embeddings 接口是有费用的,如果想对大量文档进行测试,使用本地部署的 Embeddings 就能省去大量的费用,所以我们尝试使用本地的 Ollama Embeddings。 首先本地安装 Ollama: https://ollama.com/download 即使你电脑没有性能很强的显卡,仅仅依靠 CPU 也能运行一些参数量较小的

    2024年04月27日
    浏览(33)
  • 开源模型应用落地-工具使用篇-Ollama(六)

    一、前言     在AI大模型百花齐放的时代,很多人都对新兴技术充满了热情,都想尝试一下。但是,实际上要入门AI技术的门槛非常高。除了需要高端设备,还需要面临复杂的部署和安装过程,这让很多人望而却步。不过,随着开源技术的不断进步,使得入门AI变得越来越容易

    2024年03月08日
    浏览(36)
  • 小白Windows下通过Ollama部署使用本地模型

    运行环境为 windows R9000P2021拯救者笔记本 AMD R7-5800H 32G 内存 NVIDIA RTX 3070 Laptop GPU Ollama下载exe,直接下一步下一步没有设置可以更改 windows默认安装路径: C:UserswbigoAppDataLocalProgramsOllama 安装后会自动将该路径加入环境变量 双击图标运行后状态栏会出现小图标,右键有退出、

    2024年03月13日
    浏览(48)
  • Win10环境下使用Ollama搭建本地AI

    前言: 1、Ollama需要安装0.1.27版本,高于这个版本在执行Ollama run 指令时会频繁触发一些奇奇怪怪的问题。 2、4.3篇章是重点,若你需要使用web访问的话,莫要忘记! 3、本文章适合新手。 4、篇章5中会介绍如何在vscode中利用ollama实现类似copilot的功能。 1、安装Ollama         前

    2024年04月28日
    浏览(25)
  • 使用 ollama 部署最新的Llama 3 70B本地模型

    在本地启动并运行大型语言模型。运行Llama 3,Mistral, Gemma, Code Llama和其他模型。自定义并创建您自己的。 综合优点: 快速下载+容器自动运行大模型,现在下载,马上上手。 本地利用 cpu 运行大模型,本地安全可靠。 ollama 命令,管理大模型相对方便,也可以多个大模型中切

    2024年04月25日
    浏览(40)
  • AIGC 实战:如何使用 Ollama 开发自定义的大模型(LLM)

    虽然 Ollama 提供了运行和交互式使用大型语言模型(LLM)的功能,但从头开始创建完全定制化的 LLM 需要 Ollama 之外的其他工具和专业知识。然而,Ollama 可以通过微调在定制过程中发挥作用。以下是细分说明: 预训练模型选择: Ollama 提供了一个预训练的开源 LLM 库,例如 Ll

    2024年03月10日
    浏览(36)
  • openWebUI+ollama&windows+不用docker+webLite本地安装

    总结一下安装教程 10核CPU 16G内存 两个web框架都可以,先说简单的 ollama-webui-lite( https://github.com/ollama-webui/ollama-webui-lite ) 轻量级,只使用nodejs 先装 https://ollama.com/download 新建文件夹 E:ProjolloamaModsSav ,cmd进入该目录 ollama run llama3,那么就会直接下载该模型到该目录下,在blob

    2024年04月27日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包