部署lawyer-llama

这篇具有很好参考价值的文章主要介绍了部署lawyer-llama。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

Git - Downloading PackageGit - Downloading PackageGit - Downloading Package

下载git,wget需要下载一下 (GNU Wget 1.21.4 for Windows),

Windows中git bash完全可以替代原生的cmd,但是对于git bash会有一些Linux下广泛使用的命令的缺失,比如wget命令。

在此,以安装wget命令为例,其他命令可以采用相同的方式解决:

1、下载wget二进制安装包,地址:https://eternallybored.org/misc/wget/

2、解压安装包,将wget.exe 拷贝到C:\Program Files\Git\mingw64\bin\ 下面;(或者解压之后将解压文件中wget.exe的路径添加到环境变量中)

部署lawyer-llama,大数据,搜索引擎

部署lawyer-llama,大数据,搜索引擎

下载GitHub - facebookresearch/llama: Inference code for LLaMA models完之后,运行download.sh.

然后download.sh会要求首先输入邮件里的下载地址。输入之后,它会询问要下载哪些模型,我们可以选择下载7b,13b,70b,7b-chat, 13b-chat, 70b-chat这六种模型。如果都想下载,就直接回车就可以了。

其中7b的模型只有一个文件consolidated.00.pth,大小为12.55GB。而13b的模型是2个文件consolidated.00.pth和consolidated.01.pth,每个都是12.12GB. 70b的模型是8个文件,从consolidated.00.pth到consolidated.07.pth,每个文件大小为16.06GB。

模型 文件数 文件大小
7b 1 12.55GB
13b 2 24.24GB
70b 8 128.48GB
7b-chat 1 12.55GB
13b-chat 2 24.24GB
70b-chat 8 128.48GB

 参考:2023年的深度学习入门指南(18) - 将LLaMA2跑起来_Jtag特工的博客-CSDN博客

运行环境

建议使用Python 3.8及以上版本。

主要依赖库如下:

  • transformers >= 4.28.0
  • sentencepiece >= 0.1.97
  • gradio

获取模型

为了符合LLaMA的使用规范,我们发布的Lawyer LLaMA权重需要使用原始LLaMA权重文件进行解码(相关代码来自point-alpaca)。

  1. 通过官方途径获取LLaMA原始模型。

  2. 通过Hugging Face或者百度网盘(提取码:lwhx)获取Lawyer LLaMA权重。

  3. 利用原始LLaMA文件中的7B/consolidated.00.pth文件,运行以下bash命令,使用decrypt.py对Lawyer LLaMA模型文件进行解码。

for f in "/path/to/model/pytorch_model"*".enc"; \
    do if [ -f "$f" ]; then \
       python3 decrypt.py "$f" "/path/to_original_llama/7B/consolidated.00.pth" "/path/to/model"; \
    fi; \
done

将以上命令中的/path/to/model/替换成下载后的Lawyer LLaMA所在路径。

  1. 从百度网盘(提取码:r0vx)下载法条检索模块,并运行其中的python server.py启动法条检索服务,默认挂在9098端口。

模型运行

使用命令行运行

python demo_cmd.py \
--checkpoint /path/to/model \
--classifier_url "http://127.0.0.1:9098/check_hunyin" \
--use_chat_mode

使用交互界面运行

运行以下命令启动交互网页,访问http://127.0.0.1:7863

python demo_web.py \
--port 7863 \
--checkpoint /path/to/model \
--classifier_url "http://127.0.0.1:9098/check_hunyin"

如需使用nginx反向代理访问此服务,可参考https://github.com/LeetJoe/lawyer-llama/blob/main/demo/nginx_proxy.md (Credit to @LeetJoe)

没部署成功,可能是bash那步不行文章来源地址https://www.toymoban.com/news/detail-658790.html

到了这里,关于部署lawyer-llama的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 如何高效实现搜索引擎爬虫进行数据挖掘-搜索引擎爬虫(SERP)集成测试与分享

    身处大数据时代中,我们面对海量的互联网数据,如何自动高效地获取感兴趣的信息并为我们所用是一个非常重要的问题,以下就针对这个重要的搜索引擎爬虫问题来做一个技术分享。 什么是SERP和搜索引擎爬虫:搜索引擎会根据特定的的策略,运用特定的计算机程序搜集互

    2024年02月11日
    浏览(55)
  • 数据库搜索引擎介绍

    索引的定义:索引是对数据库表的一列或者多列的值进行排序一种结构,使用索引可以快速访问数据表中的特定信息。 通俗来讲,索引就是数据库表的一个目录,通过索引,我们可以迅速的找到数据库中的数据,并进行相应的增删改查等操作。 索引的使用大大加快数据检索

    2024年02月03日
    浏览(51)
  • 数据搜索的实用工具:如何选择合适的搜索引擎

    数据搜索是现代人工智能和大数据技术的基石,它为各种应用提供了强大的支持。随着数据规模的不断扩大,传统的搜索方法已经无法满足需求。因此,选择合适的搜索引擎成为了关键。本文将介绍数据搜索的实用工具及其选择原则,以及相关算法原理、具体操作步骤和数学

    2024年04月16日
    浏览(33)
  • 搜索引擎elasticsearch :安装elasticsearch (包含安装组件kibana、IK分词器、部署es集群)

    kibana可以帮助我们方便地编写DSL语句,所以还要装kibana 因为我们还需要部署kibana容器,因此需要让es和kibana容器互联。这里先创建一个网络: 这里我们采用elasticsearch的7.12.1版本的镜像,这个镜像体积非常大,接近1G。不建议大家自己pull。 课前资料提供了镜像的tar包: 大家将

    2024年02月16日
    浏览(55)
  • 分布式搜索和分析引擎Elasticsearch本地部署结合内网穿透实现远程访问

    本文主要介绍如何在Windows系统部署分布式搜索和分析引擎Elasticsearch,并结合Cpolar内网穿透工具实现公网远程连接和访问本地服务。 Elasticsearch是一个基于Lucene库的分布式搜索和分析引擎,它提供了一个分布式、多租户的全文搜索引擎,具有HTTP Web接口和无模式JSON文档,同时也

    2024年01月21日
    浏览(49)
  • ElasticSearch搜索引擎:数据的写入流程

    (1)ES 客户端选择一个节点 node 发送请求过去,这个节点就是协调节点 coordinating node  (2)协调节点对 document 进行路由,通过 hash 算法计算出数据应该落在哪个分片 shard 上,然后根据节点上维护的 shard 信息,将请求转发到对应的实际处理节点node上 shard = hash(document_id) %

    2023年04月14日
    浏览(63)
  • 【数据结构课程设计】简单搜索引擎系统

    该程序使用python语言实现利用爬虫代码爬取网站链接信息,将网站中文词语通过结巴分词进行分割,并存储爬取的数据信息,利用结巴分词库处理输入框用户输入的词语,进行搜索,通过链接评价函数,优先显示评分较高的链接;设计简单的html页面,实现可视化搜索功能。

    2024年01月23日
    浏览(58)
  • 使用矢量数据库打造全新的搜索引擎

    在技术层面上,矢量数据库采用了一种名为“矢量索引”的技术,这是一种组织和搜索矢量数据的方法,可以快速找到相似矢量。其中关键的一环是“距离函数”的概念,它可以衡量两个矢量的相似程度。 矢量数据库是专门设计用来高效处理矢量数据的数据库。什么是矢量数

    2024年02月14日
    浏览(43)
  • 基于向量数据库搭建自己的搜索引擎

    前言【基于chatbot】 厌倦了商业搜索引擎搜索引擎没完没了的广告,很多时候,只是需要精准高效地检索信息,而不是和商业广告“斗智斗勇”。以前主要是借助爬虫工具,而随着技术的进步,现在有了更多更方便的解决方案,向量数据库就是其中之一【chatGPT也需要它的支撑

    2024年04月11日
    浏览(40)
  • 搜索引擎(大数据检索)论述[elasticsearch原理相关]

    首先需要大致知道搜索引擎有大致几类:1.全文搜索引擎 2.垂直搜索引擎 3.类目搜索引擎等。 1.全文搜索引擎:是全文本覆盖的,百度,google等都是全文本搜索,就是我搜一个词项“方圆”,那么这个词项可以是数字平方的概念,可以是一个人名,可以是一首歌等,所有的相

    2023年04月08日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包