Data-Centric Financial Large Language Models

这篇具有很好参考价值的文章主要介绍了Data-Centric Financial Large Language Models。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文是LLM系列文章,针对《Data-Centric Financial Large Language Models》的翻译。

摘要

大型语言模型(LLM)有望用于自然语言任务,但在直接应用于金融等复杂领域时却举步维艰。LLM很难对所有相关信息进行推理和整合。我们提出了一种以数据为中心的方法,使LLM能够更好地处理财务任务。我们的关键见解是,与其一次用所有内容重载LLM,不如对数据进行预处理和预理解。我们使用基于多任务提示的微调创建了一个财务LLM(FLLM),以实现数据预处理和预理解。然而,每个任务的标记数据很少。为了克服手动注释成本,我们使用溯因增强推理(AAR)通过修改FLLM自己输出的伪标签来自动生成训练数据。实验表明,我们的以数据为中心的带有AAR的FLLM大大优于为原始文本设计的基线财务LLM,在财务分析和解释任务方面达到了最先进的水平。我们还开源了一个新的财务分析和解释基准。我们的方法为释放LLM在复杂现实世界领域的潜力提供了一条很有前途的途径。

1 引言

2 背景

3 方法

4 实验

5 结论和未来工作

本文提出了一种基于FLLM的以数据为中心的方法,以提高LLM在财务分析任务中的能力。为了克服标记数据的稀缺性,他们采用溯因增强推理来自动生成训练数据。实验表明,他们以数据为中心的金融LLM和溯因增强推理大大优于基线LLM,实现了最先进的金融分析和解释基准。以数据为中心的方法为释放LLM在复杂现实世界领域的潜力提供了一个很有前途的方向。采用新的财务分析和解释基准也是一项宝贵的贡献。此外,未来工作的一个有趣方向是将以数据为中心的方法与其他方法相结合,如金融文本的提示和自我监督预训练。整合财务报告、财报电话和股价等多模式数据也可以实现更细致的财务分析。文章来源地址https://www.toymoban.com/news/detail-735666.html

到了这里,关于Data-Centric Financial Large Language Models的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 论文笔记--Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Mode

    标题:Increasing Diversity While Maintaining Accuracy: Text Data Generation with Large Language Models and Human Interventions 作者:John Joon Young Chung, Ece Kamar, Saleema Amershi 日期:2023   文章给出了一种基于LLM自动生成训练数据的方法,且通过不同的实验设置尝试增加生成数据的多样性而又不降低数据

    2024年02月03日
    浏览(32)
  • 【论文阅读】GPT4Graph: Can Large Language Models Understand Graph Structured Data?

    作者:Jiayan Guo, Lun Du, Hengyu Liu 文章链接:GPT4Graph: Can Large Language Models Understand Graph Structured Data? An Empirical Evaluation and Benchmarking 代码链接:GPT4Graph: Can Large Language Models Understand Graph Structured Data? An Empirical Evaluation and Benchmarking 通过使用自然语言描述图并向LLM提供文本描述,直接

    2024年01月20日
    浏览(32)
  • Publishing real-time financial data feeds using Kafka

    Good morning and welcome to this session on publishing real time financial data feeds using CCA. If you\\\'re a data feed provider, you may already have customers who are asking you to deliver your feed directly on AWS. And by the time we end this session, you should have a pretty good understanding of how to do that. My name is Rana. I am a Principal Solutions

    2024年02月03日
    浏览(41)
  • Automatically Correcting Large Language Models

    本文是大模型相关领域的系列文章,针对《Automatically Correcting Large Language Models: Surveying the landscape of diverse self-correction strategies》的翻译。 大型语言模型(LLM)在一系列NLP任务中表现出了卓越的性能。然而,它们的功效被不受欢迎和不一致的行为所破坏,包括幻觉、不忠实的

    2024年02月12日
    浏览(44)
  • LLM(Large Language Model)大语言模型

    语言模型够大,训练的语料够多,涌现出推理能力飙升等   Generative Pre-trained Transformer 3(GPT-3)是最著名的LLM之一,拥有1750亿个参数。该模型在文本生成、翻译和其他任务中表现出显著的性能,在全球范围内引起了热烈的反响,目前OpenAI已经迭代到了GPT-4版本 Generative :能产

    2024年02月15日
    浏览(34)
  • 文献阅读:Large Language Models as Optimizers

    文献阅读:Large Language Models as Optimizers 1. 文章简介 2. 方法介绍 1. OPRO框架说明 2. Demo验证 1. 线性回归问题 2. 旅行推销员问题(TSP问题) 3. Prompt Optimizer 3. 实验考察 结论 1. 实验设置 2. 基础实验结果 1. GSM8K 2. BBH 3. 泛化性 3. 消融实验 1. meta-prompt 2. 生成prompt的数目 3. 起始点 4.

    2024年01月19日
    浏览(27)
  • A Survey of Large Language Models

    本文是LLM系列的第一篇文章,针对《A Survey of Large Language Models》的翻译。 自从20世纪50年代提出图灵测试以来,人类一直在探索通过机器掌握语言智能。语言本质上是一个由语法规则控制的复杂的人类表达系统。开发能够理解和掌握语言的人工智能算法是一个重大挑战。在过

    2024年02月09日
    浏览(52)
  • 吴恩达ChatGPT《Finetuning Large Language Models》笔记

    课程地址:https://learn.deeplearning.ai/finetuning-large-language-models/lesson/1/introduction 动机:虽然编写提示词(Prompt)可以让LLM按照指示执行任务,比如提取文本中的,或者对文本进行情绪分类。但是,微调LLM,可以让其更一致地做具体的任务。例如,微调LLM对话时的语气。 课

    2024年02月07日
    浏览(29)
  • 论文笔记:Large Language Models as Analogical Reasoners

    iclr 2024 reviewer打分5558 基于CoT prompt的大模型能够更好地解决复杂推理问题 然而传统CoT需要提供相关的例子作为指导,这就增加了人工标注的成本 ——Zero-shot CoT避免了人工标注来引导推理 但是对于一些复杂的任务难以完成推理,例如code generation ——论文提出一种“归纳学习

    2024年04月12日
    浏览(30)
  • EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS

    本文是LLM系列文章,针对《EVALUATING HALLUCINATIONS IN CHINESE LARGE LANGUAGE MODELS》的翻译。 在本文中,我们建立了一个名为HalluQA (Chinese Hallucination question - answers)的基准来测量中文大型语言模型中的幻觉现象。HalluQA包含450个精心设计的对抗性问题,跨越多个领域,并考虑到中国的历

    2024年02月07日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包