1，视频地址
https://www.bilibili.com/video/BV19F4m1F7Rn/
【ollama】（3）：在linux搭建环境中，安装ollama工具，并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快，支持http接口和命令行
2，关于ollama项目
https://ollama.com/
项目使用golang+llama.cpp 项目进行开发的。
简化了模型的安装，非常的方便。
3，安装软件启动
curl -fsSL https://ollama.com/install.sh | sh
然后因为是docker 虚拟环境，需要手动启动服务： ollama serve
# ollama serve
time=2024-03-12T08:41:45.937+08:00 level=INFO source=images.go:710 msg="total blobs: 12"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=images.go:717 msg="total unused blobs removed: 0"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=routes.go:1021 msg="Listening on 127.0.0.1:11434 (version 0.1.28)"
time=2024-03-12T08:41:45.938+08:00 level=INFO source=payload_common.go:107 msg="Extracting dynamic libraries..."
time=2024-03-12T08:41:50.551+08:00 level=INFO source=payload_common.go:146 msg="Dynamic LLM libraries [rocm_v5 cpu rocm_v6 cpu_avx cuda_v11 cpu_avx2]"
time=2024-03-12T08:41:50.551+08:00 level=INFO source=gpu.go:94 msg="Detecting GPU type"
time=2024-03-12T08:41:50.551+08:00 level=INFO source=gpu.go:265 msg="Searching for GPU management library libnvidia-ml.so"
time=2024-03-12T08:41:50.554+08:00 level=INFO source=gpu.go:311 msg="Discovered GPU libraries: [/usr/lib/x86_64-linux-gnu/libnvidia-ml.so.535.129.03 /usr/lib/x86_64-linux-gnu/libnvidia-ml.so.535.98]"
time=2024-03-12T08:41:50.581+08:00 level=INFO source=gpu.go:99 msg="Nvidia GPU detected"
time=2024-03-12T08:41:50.581+08:00 level=INFO source=cpu_common.go:11 msg="CPU has AVX2"
time=2024-03-12T08:41:50.587+08:00 level=INFO source=gpu.go:146 msg="CUDA Compute Capability detected: 8.6"
然后启动 gemma:7b
ollama run gemma:7b
即可
ollama run gemma:7b
>>> 北京景点
北京拥有众多各样的景点，每个景点都有其独特的魅力。以下列举了北京主要景点：
**历史文化景点:**
* **故宫博物院:** 世界上最大的古建筑群，包含皇帝的宫殿、殿宇和御用建筑等。
* **天安门广场:** 位于中央政府办公区，历史悠久的广场，拥有世界上最高建筑——国家领导人办公楼。
* **紫禁城:** 古代中国宫殿，为中国古代建筑的象征。
* **圆明园:** 元代皇家园林，包含众多古典建筑和雕塑。
* **北海寺:** 宏伟的佛教寺庙，拥有世界上最高佛塔。
**现代城市景观:**
* **天安门纪念堂:** 纪念中国共产党领导人毛泽东、朱列·刘备和马克思的纪念堂。
* **东方大厦:** 高度现代化的建筑，拥有世界上最高的摩天线。
* **国家博物馆:** 收藏中国古代艺术品和文物。
* **中国国家博物馆:** 展示中国古代艺术品的收藏。
**其他景点:**
* **国家森林公园:** 北京最大的公园，拥有美丽的自然风景和现代建筑。
* **华北新城:** 北京新开发的现代城市，拥有先进的科技和现代建筑。
* **北水库:** 位于北京北部的湖泊，拥有美丽的景色和完善的交通系统。
**建议的参观顺序:**
根据您的兴趣和时间，您可以根据以下顺序参观景点：
* 第一天：故宫博物院、天安门广场、紫禁城、北海寺。
* 第二天：圆明园、国家博物馆、中国国家博物馆。
* 第三天：国家森林公园、华北新城、北水库。
**注意事项:**
* 北京的交通系统比较便利，可以选择地铁、公交或出租车。
* 在参观景点时，建议提前购买门票，以节省时间和金钱。
* 北京的夏天比较热，建议在夏季穿轻便的衣服和使用防晒用品。
* 北京的冬天比较寒冷，建议在冬季穿保暖衣和使用保暖用品。
>>> Send a message (/? for help)
可以发现 支持中文效果也不错。
# nvidia-smi
Tue Mar 12 08:44:02 2024
+---------------------------------------------------------------------------------------+
| NVIDIA-SMI 535.129.03 Driver Version: 535.129.03 CUDA Version: 12.2 |
|-----------------------------------------+----------------------+----------------------+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 NVIDIA GeForce RTX 3080 On | 00000000:05:00.0 Off | N/A |
| 0% 26C P8 14W / 320W | 6865MiB / 20480MiB | 0% Default |
| | | N/A |
+-----------------------------------------+----------------------+----------------------+
+---------------------------------------------------------------------------------------+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
+---------------------------------------------------------------------------------------+
3，支持多个模型推理
有切换的时间，模型会重新载入到显存。文章来源：https://www.toymoban.com/news/detail-849973.html
4，还支持接口访问
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen:0.5b","stream":true,
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "qwen:1.8b","stream":true,
"messages": [
{
"role": "user",
"content": "你好"
}
]
}'
curl http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "gemma:7b","stream":true,
"messages": [
{
"role": "user",
"content": "北京景点"
}
]
}'
模型存放地址
- macOS:
~/.ollama/models - Linux:
/usr/share/ollama/.ollama/models - Windows:
C:\Users\<username>\.ollama\models
可以修改配置文件更改：文章来源地址https://www.toymoban.com/news/detail-849973.html
OLLAMA_HOST The host:port to bind to (default "127.0.0.1:11434")
OLLAMA_ORIGINS A comma separated list of allowed origins.
OLLAMA_MODELS The path to the models directory (default is "~/.ollama/models")
到了这里，关于【ollama】（3）：在linux搭建环境中，安装golang开发的ollama工具，并且完成启动下载gemma:7b和qwen:1.8b运行速度飞快，支持http接口和命令行模式的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
