DeepSeek 近期因使用量激增而导致服务器繁忙、响应缓慢,甚至 API 充值功能暂停,严重影响用户体验。为了摆脱这一困扰,本文将详细介绍如何利用开源工具 Ollama 在本地搭建 DeepSeek,让你在家也能享受流畅的使用体验。
DeepSeek 服务器繁忙现状
由于DeepSeek 现在热度实在是太高,导致现在使用起来非常卡顿,体验感不好,一直回复稍后再试。
甚至现在连 API 充值都停了,钱都不赚了:
还直接上了热搜:
DeepSeek 服务器时常出现繁忙状态,导致使用体验不佳,甚至出现 API 充值暂停的情况。为了解决这一问题,本文将介绍如何使用开源工具 Ollama 在本地搭建 DeepSeek,让您在家也能畅享高效体验。
概述
今天我们就介绍使用开源的工具 Ollama 本地安装 DeepSeek,Ollama 是一个开源的本地大语言模型运行框架,目前在 Github 上斩获了 121k+ 的 Star:
为什么选择 Ollama?
Ollama 是一款开源的本地大语言模型运行框架,专为在个人电脑上便捷部署和运行大型语言模型(LLM)而设计。其主要优势包括:
跨平台支持:适用于 macOS、Windows、Linux 以及 Docker 环境。
模型量化支持:大幅降低显存需求,使普通家用电脑也能运行大型模型。
多模型兼容:支持 DeepSeek、Qwen、CodeGeeX4、Phi4、Llama 等众多热门模型。
核心特性:
全平台支持:Windows/macOS/Linux/Docker
显存优化技术:4-bit量化可将模型体积压缩70%
多模型生态:支持DeepSeek/LLaMA3/Qwen等20+主流模型
REST API集成:完美对接现有开发环境
Ollama 支持多种流行的大型语言模型,包括但不限于 DeepSeek、qwen、codegeex4、phi4、llama 等,我们可以根据自己的需求选择合适的模型进行本地运行。
相关资源
Ollama 官方地址:https://ollama.com/ Github 开源地址:https://github.com/ollama/ollama Ollama 入门教程:/ollama/ollama-tutorial.html
Ollama 安装及使用指南
安装 Ollama
Ollama 支持多种操作系统,包括 macOS、Windows、Linux 以及通过 Docker 容器运行。
Ollama 安装很简单,直接在官网 https://ollama.com/download 下载对应系统的安装包即可:
下载完成后,双击安装程序并按照提示完成安装。
验证安装
打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:
ollama --version
如果显示版本号,则说明安装成功。
运行 DeepSeek 模型
在命令行中输入以下命令启动 DeepSeek 模型:
ollama run deepseek-coder
如果该模型没安装,会先下载,如下所示:
注意:下载初期速度较快,但中途可能会变慢,此时可使用 ctrl+d
中断下载,再次执行命令后速度会恢复。
安装成功后,即可开始与模型对话。输入 /?
查看所有可用命令:
>>> /? Available Commands: /set Set session variables /show Show model information /load <model> Load a session or model /save <model> Save your current session /clear Clear session context /bye Exit /help Help for a command /? shortcuts Help for keyboard shortcuts
输入 /bye 退出:
>>> /bye
查找更多支持模型
很多支持的大模型可以通过官方 https://ollama.com/library 查找,然后点击具体模型,可以查看下载运行命令:
使用 Ollama 提供的 REST API
另外,Ollama 提供了一个用于运行和管理模型的 REST API,以下是使用该 API 的示例。
生成文本示例
使用 curl 命令生成文本:文章来源:https://www.toymoban.com/article/785.html
curl http://localhost:11434/api/generate -d '{ "model": "llama3.2", "prompt":"Why is the sky blue?" }'
与模型聊天
通过以下命令与模型进行对话:文章来源地址https://www.toymoban.com/article/785.html
curl http://localhost:11434/api/chat -d '{ "model": "llama3.2", "messages": [ { "role": "user", "content": "why is the sky blue?" } ] }'
到此这篇关于教你如何在本地搭建DeepSeek,摆脱DeepSeek服务器繁忙,在家也能用的文章就介绍到这了,更多相关内容可以在右上角搜索或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!