小白Windows下通过Ollama部署使用本地模型

6月前作者：WilliamBear 分类：Toy博客阅读(48) 违法举报

这篇具有很好参考价值的文章主要介绍了小白Windows下通过Ollama部署使用本地模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

安装环境

运行环境为
windows
R9000P2021拯救者笔记本
AMD R7-5800H
32G 内存
NVIDIA RTX 3070 Laptop GPU

安装主程序

Ollama下载exe，直接下一步下一步没有设置可以更改
windows默认安装路径：
C:\Users\wbigo\AppData\Local\Programs\Ollama\
安装后会自动将该路径加入环境变量
双击图标运行后状态栏会出现小图标，右键有退出、打开日志文件夹按钮
小白Windows下通过Ollama部署使用本地模型

我直接打开cmd运行ollama list报错、应该是环境变量有问题
这时可以打开安装路径按住shift+鼠标右键，点击在此处打开Powershell窗口
小白Windows下通过Ollama部署使用本地模型

输入ollama -v查看当前版本，能输出版本则安装成功
小白Windows下通过Ollama部署使用本地模型

修改模型下载路径

默认模型下载路径：
C:\Users\wbigo\.ollama\models
添加系统变量修改模型默认下载路径
变量名：OLLAMA_MODELS
小白Windows下通过Ollama部署使用本地模型

运行模型单行对话

拉取并运行llama2模型
ollama run llama2
直接输入该命令会检查目录下是否有该模型，没有会自动下载，下载好后自动运行该模型
其他模型见library (ollama.com)

小白Windows下通过Ollama部署使用本地模型

拉取完成后直接进入单行交流模式

小白Windows下通过Ollama部署使用本地模型

第三方API调用

API调用默认端口11434
小白Windows下通过Ollama部署使用本地模型

第三方应用调用API
小白Windows下通过Ollama部署使用本地模型

翻译效果
小白Windows下通过Ollama部署使用本地模型

解释代码效果及CPU、内存、GPU占用
小白Windows下通过Ollama部署使用本地模型文章来源地址https://www.toymoban.com/news/detail-839084.html

到了这里，关于小白Windows下通过Ollama部署使用本地模型的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

使用Ollama在本地运行AI大模型gemma

本次本人用到的软件汇总：百度网盘下载 https://github.com/ollama/ollama/releases 我的电脑-右键-属性-系统-高级系统设置-环境变量-【系统环境变量】新建变量名：OLLAMA_MODELS （固定变量名）变量值：E:OllamaLib （写自己要存放的路径）先配置好这个变量，这个是ollama的存储路径。

2024年04月25日
浏览(30)
【AI之路】使用Jan.ai在本地部署大模型开启AI对话（含通过huggingface下载大模型，实现大模型自由）

2023年是AIGC元年。以后，每个人多少都会接触到GPT带来的变化。别人都在用，我们也不能落下。ChatGPT咱用不了，可以用国内的各种大模型。另外，我们还可以把大模型放到本地电脑上运行，不信？咱往下看！使用Jan.ai在本地调用大模型进行对话下面就让我们的主角登场。

2024年02月02日
浏览(51)
免费打造个人专属的高颜值本地大模型AI助手，无限量使用 Ollama+LobeChat开源工具，在本地运行AI大模型，安全的和AI对话。

第一步，首先安装ollama，选择对应系统的安装包 ollama官网地址：https://ollama.com/ 本问是lunix系统上安装ollama：如果机子没有GPU显卡的话，ollama会提示只通过cpu模式运行。测试ollama命令：想要流畅运行，推荐配置: 4b的模型:8GB内存。 7b的模型:16GB内存。 13b模型: 32GB内存。 70b模

2024年04月26日
浏览(31)
Ollama管理本地开源大模型，用Open WebUI访问Ollama接口

现在开源大模型一个接一个的，而且各个都说自己的性能非常厉害，但是对于我们这些使用者，用起来就比较尴尬了。因为一个模型一个调用的方式，先得下载模型，下完模型，写加载代码，麻烦得很。对于程序的规范来说，只要东西一多，我们就需要一个集中管理的平台，

2024年03月26日
浏览(34)
openWebUI+ollama&windows+不用docker+webLite本地安装

总结一下安装教程 10核CPU 16G内存两个web框架都可以，先说简单的 ollama-webui-lite( https://github.com/ollama-webui/ollama-webui-lite ) 轻量级，只使用nodejs 先装 https://ollama.com/download 新建文件夹 E:ProjolloamaModsSav ，cmd进入该目录 ollama run llama3，那么就会直接下载该模型到该目录下，在blob

2024年04月27日
浏览(31)
AI-windows下使用llama.cpp部署本地Chinese-LLaMA-Alpaca-2模型

生成的文件在 .buildbin ，我们要用的是 main.exe ， binmain.exe -h 查看使用帮助本项目基于Meta发布的可商用大模型Llama-2开发，是中文LLaMAAlpaca大模型的第二期项目，开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表，使用

2024年04月25日
浏览(34)
如何试用 Ollama 运行本地模型 Mac M2

首先下载 Ollama 安装完成之后，启动 ollma 对应的模型，这里用的是 qwen:7b 命令与模型直接交互我的机器配置是M2 Pro/ 32G，运行 7b 模型毫无压力，而且推理时是用 GPU 进行运算的，可能就是 Ollama 底层是用 llama C++ 实现的，底层做了性能优化，对 Mac特别友好。纯C/C++实现，没有

2024年04月10日
浏览(38)
Mac 安装Ollama和llama3，本地部署LobeChat和刘皇叔聊三国

网址：https://ollama.com/ 支持macOS、Linux和Windows多个平台 1. 常用指令 2. 链接 Blog：https://ollama.com/blog Docs：https://github.com/ollama/ollama/tree/main/docs GitHub：https://github.com/ollama/ollama 模型仓库：https://ollama.com/library 以Llama 3为例自动安装latest的版本是8B 4-bit模型，信息如下：如果是70B模

2024年04月27日
浏览(23)
【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装

https://github.com/ollama/ollama/tree/main/docs https://www.bilibili.com/video/BV1oS421w7aM/ 【ollama】（2）：在linux搭建环境，编译ollama代码，测试qwen大模型，本地运行速度飞快，本质上是对llama.cpp 项目封装要是失败执行，子模块更新：需要编译 llama.cpp 的代码，然后经过漫长的编译，就而可以

2024年04月08日
浏览(52)
【AI】在docker中部署ollama体验AI模型

1.2.1.安装英伟达容器工具包（以Ubuntu22.04为例）其他系统请参考：英伟达官方文档 1.2.2.docker使用GPU运行ollama ollama模型仓库

2024年03月21日
浏览(36)