LLaMA 2:开源的预训练和微调语言模型推理引擎 | 开源日报 No.86

这篇具有很好参考价值的文章主要介绍了LLaMA 2:开源的预训练和微调语言模型推理引擎 | 开源日报 No.86。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

大模型推理 llama 输入和输出,开源日报,llama,语言模型,人工智能

facebookresearch/llama

Stars: 36.0k License: NOASSERTION

LLaMA 2 是一个开源项目,用于加载 LLaMA 模型并进行推理。

该项目的主要功能是提供预训练和微调后的 LLaMA 语言模型的权重和起始代码。这些模型参数范围从 7B 到 70B 不等。

以下是该项目的关键特性和核心优势:

  • 支持多种规模 (7B、13B 和 70B) 的语言模型。
  • 所有模型都支持最长 4096 个标记长度,并根据硬件配置预分配缓存空间。
  • 预训练版本适用于文本补全任务,需要按照指定格式输入提示以获得期望答案作为自然延伸。
  • 微调聊天版可以应用在对话场景中,在输入输出上遵循特定格式定义来获取所需功能与性能。

apexcharts/apexcharts.js

Stars: 13.1k License: MIT

大模型推理 llama 输入和输出,开源日报,llama,语言模型,人工智能

ApexCharts 是一个现代的 JavaScript 图表库,它允许您使用简单的 API 和 100 多个预先准备好的示例构建交互式数据可视化。ApexCharts 包含超过十种图表类型,可以在应用程序和仪表板中提供美观、响应式的可视化效果。

  • 支持各大主流浏览器
  • 提供 npm 安装方式
  • 可以直接引入 js 文件进行使用

termux/termux-packages

Stars: 11.3k License: NOASSERTION

这个项目是一个包含脚本和补丁的仓库,用于构建适用于 Termux Android 应用程序的软件包。该项目提供了有关 Termux 软件包管理的快速指南,并解释了在运行 aptpkg 命令时如何修复 “存储库正在维护中或已关闭” 的错误信息。

hiroi-sora/Umi-OCR

Stars: 11.1k License: MIT

大模型推理 llama 输入和输出,开源日报,llama,语言模型,人工智能

Umi-OCR 是一个免费、开源的离线 OCR 软件,适用于 Windows7 x64 及以上系统。它具有以下核心优势和功能:

  • 全部代码开源,完全免费。
  • 解压即可使用,无需网络连接。
  • 可以批量导入处理图片,并将结果保存到本地 txt/md/jsonl 等多种格式文件中。也可以进行实时截屏识别。
  • 使用高效的 PaddleOCR-json C++ 识别引擎,在电脑性能足够的情况下通常比在线 OCR 服务更快速。
  • 默认采用精准度较高的 PPOCR-v3 模型库,并且对手写、方向不正、杂乱背景等情景也有良好的识别率。还支持设置忽略区域排除水印等。

espnet/espnet

Stars: 7.2k License: Apache-2.0

大模型推理 llama 输入和输出,开源日报,llama,语言模型,人工智能

ESPnet 是一个端到端的语音处理工具包,涵盖了端到端语音识别、文本转语音、语音翻译、语音增强、说话人分离等功能。该工具使用 pytorch 作为深度学习引擎,并遵循 Kaldi 风格的数据处理和特征提取/格式以及配方来提供各种不同的实验设置。

  • 支持多个 ASR (自动演讲识别) 配方
  • 支持类似于 ASR 配方一样的 TTS (文本转声)
  • 支持 ST (Speech Translation) 配方
  • 提供完整且易用的命令行界面和脚本接口

thuml/Time-Series-Library

Stars: 1.8k License: MIT

TSlib 是一个开源库,用于深度学习研究,特别是深度时间序列分析。该库提供了一个整洁的代码基础来评估先进的深度时间序列模型或开发自己的模型,并涵盖五个主流任务:长期和短期预测、插补、异常检测和分类。文章来源地址https://www.toymoban.com/news/detail-761878.html

  • 提供了一套完善的代码库
  • 支持多种任务 (长期/短期预测、插补、异常检测和分类)
  • 包含各类领先模型实现

到了这里,关于LLaMA 2:开源的预训练和微调语言模型推理引擎 | 开源日报 No.86的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [算法前沿]--028-基于Hugging Face -Transformers的预训练模型微调

    本章节将使用 Hugging Face 生态系统中的库——🤗 Transformers来进行自然语言处理工作(NLP)。 Transformers的历史 以下是 Transformer 模型(简短)历史中的一些参考点: Transformer 架构于 2017 年 6 月推出。原始研究的重点是翻译任务。随后推出了几个有影响力的模型,包括: 2018 年 6

    2024年02月11日
    浏览(35)
  • 快速训练自己的大语言模型:基于LLAMA-7B的lora指令微调

    前言: 系统:ubuntu 18.04 显卡:A100-80G(蹭的,嘿嘿~) (本次主要记录如何快速进行大模型的指令微调) 地址:https://github.com/Lightning-AI/lit-llama 切换到工程目录 使用pip安装依赖库 (当然,这里可能会遇到网络问题,安装不了lightning) 可使用以下方式安装: 下载lightning工程

    2024年02月11日
    浏览(42)
  • DyLoRA:使用动态无搜索低秩适应的预训练模型的参数有效微调

    又一个针对LoRA的改进方法: DyLoRA: Parameter-Efficient Tuning of Pretrained Models using Dynamic Search-Free Low Rank Adaptation https://arxiv.org/pdf/2210.07558v2.pdf https://github.com/huawei-noah/KD-NLP/tree/main/DyLoRA LoRA存在的问题 : rank的值是固定的,训练完成后不能修改。 优化rank的值需要大量的搜索和努力。

    2023年04月20日
    浏览(35)
  • Llama 3大模型发布!快速体验推理及微调

            Meta,一家全球知名的科技和社交媒体巨头,在其官方网站上正式宣布了一款开源的大型预训练语言模型——Llama-3。     据了解,Llama-3模型提供了两种不同参数规模的版本,分别是80亿参数和700亿参数。这两种版本分别针对基础的预训练任务以及指令微调任务进

    2024年04月26日
    浏览(36)
  • 使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理

    前几天,Meta 发布了 LIMA 大模型,在LLaMA-65B的基础上,无需使用 RLHF,只用了 1000 个精心准备的样本数据进行微调,就达到了和 GPT-4 相媲美的程度。这激发了我探索 LLaMA 65B 大模型的兴趣。 之前的一系列大模型相关文章都是在LLaMA 7B/13B模型参数上面进行微调,文本使用 LoRA 技

    2024年02月08日
    浏览(41)
  • 训练自己的Llama 2!大模型微调技术介绍

    趋动云 趋动云是面向 AI 算法工程师的开发平台,为工程师提供模型开发、模型训练、数据和代码管理等功能。 近期有不少粉丝问算力君,趋动云是否支持大模型的训练?当然支持! 最近大火的Llama 2一出来,算力君身边的小伙伴就已经跑过了,本文将介绍Llama 2和相关的大模

    2024年02月12日
    浏览(28)
  • 《实战AI模型》——赶上GPT3.5的大模型LLaMA 2可免费商用,内含中文模型推理和微调解决方案

    目录 准备环境及命令后参数导入: 导入模型: 准备LoRA: 导入datasets: 配置

    2024年02月16日
    浏览(43)
  • [玩转AIGC]LLaMA2训练中文文章撰写神器(数据准备,数据处理,模型训练,模型推理)

    好久没更新这个专栏的文章了,今天抽空写了一篇。————2023.12.28 摘要:文体包括新闻,法律文书,公告,广告等,每种文体的书写风格不一样,如果拥有自己的数据集,想针对特定文体来训练一个内容生成的工具,来帮助自己写点文章,如果没接触过AIGC,可能一开始会

    2024年01月17日
    浏览(40)
  • 大语言模型的预训练[1]:基本概念原理、神经网络的语言模型、Transformer模型原理详解、Bert模型原理介绍

    预训练属于迁移学习的范畴。现有的神经网络在进行训练时,一般基于反向传播(Back Propagation,BP)算法,先对网络中的参数进行随机初始化,再利用随机梯度下降(Stochastic Gradient Descent,SGD)等优化算法不断优化模型参数。而预训练的思想是,模型参数不再是随机初始化的

    2024年02月17日
    浏览(39)
  • 解读Lawyer LLaMA,延申专业领域大模型微调:数据集构建,模型训练

    解读Lawyer LLaMA,延申自己领域大模型微调:数据集构建,模型训练 项目地址link 自己领域的大模型微调,实现思路大都和这篇文章是一样的,有的是基于LLaMA,或者有的是基于Chinese-LLaMA,或者是其他开源的大模型,本文基于自己训练过程和参考了老刘说NLP中的《也读Lawyer LLaMA法

    2024年02月10日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包