智能AI知识库,增强AI知识的开源项目

这篇具有很好参考价值的文章主要介绍了智能AI知识库,增强AI知识的开源项目。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

介绍FastWiki

FastWiki是一个高性能、基于最新技术栈的知识库系统,旨在为大规模信息检索和智能搜索提供解决方案。它采用微软Semantic Kernel进行深度学习和自然语言处理,在后端使用MasaFramework,前端采用MasaBlazor框架,实现了一个高效、易用、可扩展的智能向量搜索平台。其目标是帮助用户快速准确地获取所需信息,具有智能搜索、高性能、现代化前端、强大的后端等特点。除此之外,FastWiki是开源和社区驱动的项目,采用Apache-2.0许可证,鼓励开发者和企业使用和贡献。

部署FastWiki

下面部署FastWiki将使用docker-compose进行部署,如果不存在环境则先安装docker和docker-compose的环境,由于postgresql需要使用向量插件,自己打包向量插件会过于麻烦,所以FastWiki提供了一键docker-compose的文件,内部提供的postgresql自带了vector插件了,我们只需要执行脚本即可

部署One-Api

One-Api是干什么的:

  • One-Api用于AI的中转站,由于大部分的AI工具仅支持openai的api格式,但是国内的AI的接口格式五花八门,所以我们需要通过One-Api将国内的AI转换成openai的接口格式下面我们开始部署我们的One-Api

将下面的内容复制到一个docker-compose.yml文件中

version: '3.8'
services:
  one-api:
    image: justsong/one-api
    container_name: one-api
    restart: always
    ports:
      - "3000:3000"
    environment:
      - TZ=Asia/Shanghai
    volumes:
      - ./data/one-api:/data

我们使用最轻量级的Sqlite版本,启动容器以后打开浏览器访问:http://localhost:3000/

登录系统,默认账号为 root,密码为 123456

  1. 添加渠道

    1. 智能AI知识库,增强AI知识的开源项目
  2. 添加星火大模型的渠道

    1. 智能AI知识库,增强AI知识的开源项目
  3. 获取星火大模型的密钥

    1. 控制台-讯飞开放平台 (xfyun.cn) 在这里申请一个应用和产品,3.5个人用户可以免费领取200万的Token对于测试基本是够用的
  4. 获取到密钥 安装APPID|APISecret|APIKey的格式填写到上面One-Api的密钥当中即可,
    智能AI知识库,增强AI知识的开源项目

  5. 创建One-Api的Token,设置无限额度,然后点击提交。

    1. 智能AI知识库,增强AI知识的开源项目
  6. 点击复制key,然后将key修改下面的compose文件中的OPENAI_CHAT_TOKEN的环境变量的值,OPENAI_CHAT_ENDPOINT的地址则修改成fast-wiki-service能访问的地址,比如你局域网的ip加端口 OPENAI_CHAT_ENDPOINT=http://ip:端口 这样即可。

    1. 智能AI知识库,增强AI知识的开源项目

下载docker-compose.yml

curl -o docker-compose.yml https://raw.githubusercontent.com/239573049/fast-wiki/master/docker-compose.yml

然后打开下载的docker-compose.yml文件,知识库依赖了第三方服务所以不能直接运行,需要修改部分参数。

version: '3.8'  # 可以根据需要使用不同的版本
services:
  fast-wiki-service:
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/fast-wiki-service
    container_name: fast-wiki-service
    user: root
    restart: always
    ports:
      - "8080:8080"
    build: 
      context: .
      dockerfile: ./src/Service/FastWiki.Service/Dockerfile
    volumes:
      - ./wwwroot:/app/wwwroot/
    environment:
      - OPENAI_CHAT_ENDPOINT=https://api.openai.com
      - OPENAI_CHAT_EMBEDDING_ENDPOINT=https://ai-api.token-ai.cn/
      - OPENAI_CHAT_TOKEN={您的TokenKey}
      - OPENAI_CHAT_MODEL=gpt-3.5-turbo
      - OPENAI_EMBEDDING_MODEL=text-embedding-3-small
      - ASPNETCORE_ENVIRONMENT=Development
      - OPENAI_EMBEDDING_TOKEN=sk-CpKIlADEESeOdoXnF58e72A2C8Af4e0c8b52Eb6eE7116c7a

  postgres: # 当前compose服务名
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/pgvector:v0.5.0 # 拉取的数据库镜像
    container_name: postgres  # 容器运行的容器名称
    restart: always  # 开机自启动
    environment:  # 环境变量
      POSTGRES_USER: token  # 默认账号
      POSTGRES_PASSWORD: dd666666 # 默认密码
      POSTGRES_DB: wiki # 默认数据库
      TZ: Asia/Shanghai  # 数据库时区
    volumes:
      - ./postgresql:/var/lib/postgresql/data # 将PostgreSql数据持久化

  fast-wiki-server:
    image: registry.cn-shenzhen.aliyuncs.com/fast-wiki/fast-wiki-server
    container_name: fast-wiki-server
    restart: always 
    ports:
      - "2180:8080"
    build: 
      context: .
      dockerfile: ./src/Web/FastWiki.Web.Server/Dockerfile
    environment:
      - FAST_WIKI_SERVICE=http://知识库api的ip:8080 
    volumes:
      - ./model.json:/app/model.json

FastWikiService环境变量参数:

  • QUANTIZE_MAX_TASK:量化任务的最大并发数,默认为3
  • OPENAI_CHAT_ENDPOINT:OpenAI API的地址
  • OPENAI_CHAT_EMBEDDING_ENDPOINT: Embedding API的地址
  • OPENAI_CHAT_TOKEN: OpenAI API的Token
  • OPENAI_CHAT_MODEL: 对话的模型,默认gpt-3.5-turbo
  • OPENAI_EMBEDDING_MODEL: Embedding的模型,默认text-embedding-3-small
  • OPENAI_EMBEDDING_TOKEN: Embedding的Token, 默认为空,为空则使用对话的Token

FastWiki.Web.Server环境变量参数:

  • FAST_WIKI_SERVICE:FastWikiService的地址,默认为http://localhost:5124

请注意FAST_WIKI_SERVICE环境变量一定是得外网能访问到的地址,否则在回复知识库内容的时候会导致引用的文件出现404.

FastWiki为你提供了免费的向量Api,这个地址和token仅支持向量(并且对于ip进行限流)。

创建自定义模型的json以便支持国产模型,文件需要于docker-compose.yml同级:

model.json

{
  "ChatModel": [
    {
      "label": "gpt-3.5-turbo",
      "value": "gpt-3.5-turbo"
    },
    {
      "label": "gpt-4-0125-preview",
      "value": "gpt-4-0125-preview"
    },
    {
      "label": "gpt-4-1106-preview",
      "value": "gpt-4-1106-preview"
    },
    {
      "label": "gpt-4-1106-vision-preview",
      "value": "gpt-4-1106-vision-preview"
    },
    {
      "label": "gpt-4",
      "value": "gpt-4"
    },
    {
      "label": "gpt-4-32k",
      "value": "gpt-4-32k"
    },
    {
      "label": "gpt-3.5-turbo-0125",
      "value": "gpt-3.5-turbo-0125"
    },
    {
      "label": "SparkDesk-v3.5",
      "value": "SparkDesk-v3.5"
    }
  ],
  "EmbeddingModel": [
    {
      "label": "text-embedding-3-small",
      "value": "text-embedding-3-small"
    }
  ]
}

SparkDesk-v3.5则是星火大模型。

上面文件创建好了以后执行,然后就可以访问http://localhost:2180/

docker-compose up -d

登录系统默认账号admin密码Aa123456

智能AI知识库,增强AI知识的开源项目

智能AI知识库,增强AI知识的开源项目

  1. 点击知识库->创建知识库 点击添加。

    1. 智能AI知识库,增强AI知识的开源项目
  2. 点击创建的知识库:

    1. 智能AI知识库,增强AI知识的开源项目
  3. 点击导入文件
    智能AI知识库,增强AI知识的开源项目

  4. 拖动需要上传的.md/.pdf/.txt的文件到这里,然后点击下一步,一直到上传数据,

    1. 智能AI知识库,增强AI知识的开源项目
  5. 上传数据,点击上传,上传完成关闭弹窗。

    1. 智能AI知识库,增强AI知识的开源项目
  6. 数据上传以后服务会在后台进行量化,等待上传完成以后点击应用,然后创建应用

    1. 智能AI知识库,增强AI知识的开源项目
  7. 创建应用,然后打开创建的应用
    1.智能AI知识库,增强AI知识的开源项目

  8. 绑定知识库,点击选择知识库然后点击需要绑定的知识库,在关闭弹窗,然后点击保存修改即可。智能AI知识库,增强AI知识的开源项目

  9. 修改电话基础模型,修改为添加的SparkDesk-v3.5然后点击保存修改即可

    1. 智能AI知识库,增强AI知识的开源项目
  10. 打开聊天然后提问上传的文档的内容,这样就可以针对性规范AI了,还可以设置超出知识库返回的时候回复内容!
    智能AI知识库,增强AI知识的开源项目

开源地址

Github: https://github.com/239573049/fast-wiki

Gitee: https://gitee.com/hejiale010426/fast-wiki

在线文档:https://docs.token-ai.cn/

体验地址:https://chat.token-ai.cn/chat/share-chat?id=939b3ad2f853422db0d781bcb19a8bf1

知识库微信交流群加:
智能AI知识库,增强AI知识的开源项目文章来源地址https://www.toymoban.com/news/detail-837911.html

到了这里,关于智能AI知识库,增强AI知识的开源项目的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 唯一客服 -基于ChatGPT和私有数据构建智能知识库和个性化AI

    基于ChatGPT和私有数据构建智能知识库和个性化AI 1.注册开通 2.上传文档 3.智能助理 更智能,基于ChatGPT大模型算法,回答准确,逻辑清晰 更安全,支持私有化部署,文档数据本地化,安全可控 更全面,可用于企业AI客服,企业内部知识查询经验分享,员工自助服务,赋能企业

    2024年02月17日
    浏览(39)
  • ChatGPT与文心一言:两大AI助手智能回复、语言准确性、知识库丰富度比较

    在现代科技飞速发展的时代,人工智能已经成为了我们生活中不可或缺的一部分。特别是在对话AI领域,两大巨头ChatGPT和文心一言以其出色的性能和广泛的应用引起了大家的广泛关注。那么,它们在智能回复、语言准确性和知识库丰富度方面究竟有何异同呢?本文将对此进行

    2024年01月19日
    浏览(45)
  • KnowledgeGPT:利用检索和存储访问知识库上增强大型语言模型10.30

    大型语言模型(LLM)在自然语言处理领域展现出了令人印象深刻的影响,但它们仍然在几个方面存在问题,例如完整性、及时性、忠实度和适应性。尽管最近的研究工作集中在将LLM与外部知识源进行连接,但知识库(KB)的整合仍然研究不足且面临多个挑战。 本文介绍了Kno

    2024年02月06日
    浏览(33)
  • 【高级RAG技巧】在大模型知识库问答中增强文档分割与表格提取

    文档分割是一项具有挑战性的任务,它是任何知识库问答系统的基础。高质量的文档分割结果对于显著提升问答效果至关重要,但是目前大多数开源库的处理能力有限。 这些开源的库或者方法缺点大致可以罗列如下: 只能处理文本,无法提取表格中的内容 缺乏有效的分割策

    2024年04月22日
    浏览(26)
  • 开源知识库平台Raneto

    什么是 Raneto ? Raneto 是一个开源知识库平台,它使用静态 Markdown 文件来支持您的知识库。 官方提供了 doc demo 网站,即是帮助文档,也是个 demo ,地址:https://docs.raneto.com 项目使用 config.js 做为设置文件,该文件的源码地址:https://raw.githubusercontent.com/ryanlelek/Raneto/master/confi

    2024年02月09日
    浏览(31)
  • wiki.js一个开源知识库系统

    wiki.js是一个开源Wiki应用程序,官网介绍为: A modern, lightweight and powerful wiki app built on NodeJS 访问Github:github 访问Wike:js.wiki 开源知识库平台,和语雀有一样的功能,独立部署; wiki支持权限管理、用户管理,可使用markdown格式编辑; wiki的部署推荐使用postgres9.5以上版本作为存

    2024年02月04日
    浏览(39)
  • LangChain-Chatchat 开源知识库来了

    LangChain-Chatchat 是基于 ChatGLM 等大语言模型与 LangChain 等应用框架实现,开源、可离线部署的 RAG 检索增强生成大模型知识库项目。最新版本为 v0.2.10,目前已收获 26.7k Stars,非常不错的一个开源知识库项目。 项目地址:https://github.com/chatchat-space/Langchain-Chatchat 顾名思义,LangC

    2024年04月17日
    浏览(34)
  • 开源知识库平台Raneto--使用Docker部署Raneto

    1.1 Raneto简介 Raneto是一个免费、开放、简单的 Markdown 支持的 Node.js 知识库。 1.2 知识库介绍 知识库 知识库是指存储和组织知识的系统或库,它包括了各种类型的信息和知识,如文本、图像、音频、视频等。知识库可以用于存储和检索知识,帮助人们获取特定领域的知识和解决

    2024年04月12日
    浏览(30)
  • 开源知识库软件xwiki在Windows下的安装

    xwiki是java语言开发的开源知识库 开源知识库软件-xwiki在windows下的安装:基本参考这个安装即可。 XWiKi 部分汉化 1.1、Windows版本及系统配置 Windows10专业版,32GB内存 1.2、JDK11安装 1、xwiki15版本要求至少JDK11。 2、到oracle官网系在JDK11安装。 3、Java11安装以后在Windows的环境变量里配

    2024年02月04日
    浏览(30)
  • 【大模型知识库】(1):系统架构设计思考/调研。开源项目llm-knowledge-system,部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh

    https://www.bilibili.com/video/BV1N94y1n7UF/ 【大模型知识库】(1):设计开源项目,docker部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh模型 项目名称 llm-knowledge-system 大模型知识库系统 项目代码在,逐步开发设计中。 https://gitee.com/fly-llm/llm-knowledge-system 开发语言使用golang进行开发

    2024年02月02日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包