本地部署DeepSeek

深度解析如何通过Ollama框架在Windows/macOS/Linux系统本地部署DeepSeek模型，提供从环境准备、安装配置到API对接的完整解决方案，彻底解决服务器卡顿和API限流问题，附常见错误排查手册。

https://www.bilibili.com/video/BV1364y157EA/ 【deepseek】（1）：12月1日新大模型deepseek发布！使用3080显卡，运行7b模型，可以正常运行WebUI了，速度9 words/s。 RTX 3080 Ti 拥有 34 TFLOPS 的着色器性能、67 TFLOPS 的光追性能、以及 273 TFLOPS 的 Tensor（Sparsity）性能。 该卡的外形设计，依然类似于现

自从 LLaMA 被提出以来，开源大型语言模型（LLM）的快速发展就引起了广泛研究关注，随后的一些研究就主要集中于训练固定大小和高质量的模型，但这往往忽略了对 LLM 缩放规律的深入探索。 开源 LLM 的缩放研究可以促使 LLM 提高性能和拓展应用领域，对于推进自然语言处理

Stability AI又有新动作！程序员又有危机了？ 3月26日，Stability AI推出了先进的代码语言模型Stable Code Instruct 3B，该模型是在Stable Code 3B的基础上进行指令调优的Code LM。 Stability AI 表示，Stable Code Instruct 3B 在代码完成准确性、对自然语言指令的理解以及处理多种编程语言方面都优

https://nlpcloud.com/zh/how-to-install-and-deploy-whisper-the-best-open-source-alternative-to-google-speech-to-text.html whisper-jax最详细的安装教程 | 一个号称比whisper快70倍的语音识别项目 | 免费开源的语音识别项目 whisperX 语音识别本地部署_JoeManba的博客-CSDN博客 GitHub - sanchit-gandhi/whisper-jax: JAX implement

硬件环境 AMD 5950X 128GB RAM RTX 3090(24G VRAM) 操作系统 Ubuntu 18.04 编译环境(可选) llama.cpp 编译: 遇到Ubuntu18.04默认稳定版本gcc和g++不兼容问题,报错: 通过更新Ubuntu的gcc,g++版本后,make进行编译; Python虚拟环境 Python = 3.10.7 requirements.txt 安装CUDA,CUDA == 11.7; 卸载老版本: 安装新版本CUDA(实际为

How To Run Stable Diffusion 2.0 On Your Local PC — No Code Guide https://luminous-mapusaurus-1aa.notion.site/Stable-Diffusion-ce61d77468644806ab03a780f670df51 stable-diffusion-webui 安装_w3cschool https://github.com/AUTOMATIC1111/stable-diffusion-webui.git 为了让conda执行下载指令加速,需要对conda换源操作,即将源由国外原始源,改为国

minigpt-4 git主页。 笔者参考了深度学习笔记–本地部署Mini-GPT4，使用了http链接， huggingface下载llama和vicuna权重的download.txt分别如下： 下载权重的脚本如下，使用了 wget ${file} --no-check-certificate 绕开https检查： 笔者的环境下，安装FastChat 0.1.10会导致依赖冲突： 因此改为安装别的

Docker 安装完成 Python 安装完成 注册 wandb.ai 并获得 License key refer: https://github.com/wandb/server 创建目录， 访问 Docker Hub 确认最新版 tag， 启动容器， 使用浏览器打开 http://192.168.31.92:8080，将 192.168.31.92 换成你的 IP 地址，注册账号并登录。 然后单击右侧的 “System settings”， 输入之

官方文档 这里基本上是按文档来部署的，为了自己方便测试而纪录。 介绍 StarRocks 是一款高性能分析型数据仓库，使用向量化、MPP 架构、CBO、智能物化视图、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。StarRocks 既支持从各类实时和离线的数据源高

ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性： 更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更

​ 本地模式，即运行在单台机器上。没有分布式的思想，使用的是本地文件系统。使用本地模式主要是用于对MapReduce的程序的逻辑进行调试，确保程序的正确性。由于在本地模式下测试和调试MapReduce程序较为方便，因此，这种模式适合用在开发阶段。 平台软件说明 平台软件

WhisperX 是一个优秀的开源Python语音识别库。 下面记录Windows10系统下部署Whisper 1、在操作系统中安装 Python环境 2、安装 CUDA环境 3、安装Annaconda或Minconda环境 4、下载安装ffmpeg 下载release-builds包，如下图所示 将下载的包解压到你想要的路径，然后配置系统环境：我的电脑-高级系

在现实生活中，很多公司或个人的资料是不愿意公布在互联网上的，但是我们又要使用人工智能的能力帮我们处理文件、做决策、执行命令那怎么办呢？于是我们构建自己或公司的本地专属GPT变得非常重要。 先看效果： 解方程，24小时家教。   支持手机访问，使用更方便！

官网地址： Github：https://github.com/nomic-ai/gpt4all GPT4ALL 项目部署简易，但是在运行体验上一般，并且是只调用CPU来进行运算。 看官方文档介绍在嵌入式上有比较大的优势，但是目前个人对嵌入式方向接触不深，仅在本机部署使用。 本机配置 （CPU：i5-8400、显卡：1060、内存：8）