1. Toy模板网首页
  2. > Toy博客

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati

6月前 作者：UQI-LIUWJ 分类：Toy博客 阅读(55) 违法举报

这篇具有很好参考价值的文章主要介绍了论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1 intro

使用LMM生成活动轨迹的开创性工作

1.1 生成活动轨迹的意义

  • 理解活动模式（mobility pattern）——>能够灵活模拟城市移动性
  • 尽管个体活动轨迹数据由于通信技术的进步而丰富，但其实际使用往往受到隐私顾虑的限制
    • ——>生成的数据可以提供一种可行的替代方案，提供了效用和隐私之间的平衡

1.2 之前生成活动轨迹的方法的不足

  • 之前有很多数据驱动的基于学习的方法
    • 生成的数据仅从数据分布的角度而非语义上模仿真实世界的数据，使它们在模拟或解释新颖或未预见到的具有显著不同分布的场景（例如，大流行疾病）的活动中效果较差

1.3 本文思路

  • 使用大模型生成活动轨迹

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

这个图没有说清楚，我个人的感觉是，LLM得到plan和reason的部分，然后根据plan里面的semantic activity（POI），对应到location coordinate上

1.3.1  大模型相比于之前模型的优势

  • 语义可解释性
    • 与之前主要依赖于结构化数据（基于GPS坐标的轨迹数据）不同，LLMs在解释语义数据（例如，活动轨迹数据）方面展现出了专长
      • ——>可以将多样化数据源纳入生成过程
      • ——>增强了模型理解和与复杂、真实世界场景以更细腻和有效的方式互动的能力
  • 模型通用性
    • 之前的模型在未见场景下的生成能力有限
    • LLMs在处理未见任务上显示出了显著的通用性，尤其是基于可用信息进行推理和决策的能力

1.3.2 挑战与解决方法

  • RQ 1: LLM如何有效地与关于日常个人活动的富语义数据对齐？
  • RQ 2: 使用LLM实现可靠且有意义的活动生成的有效策略是什么？
  • RQ 3: LLM在增强城市移动性方面的潜在应用是什么？

1.3.3 论文的两阶段

  • 自洽活动模式识别
    • 提取并评估历史数据和语义分析中的活动模式
    • 使用LLM代理生成多样化和个性化的活动场景
  • 动机驱动的活动生成
    • 开发了两种可解释的检索增强策略
      • 结合第一阶段识别的模式，指导LLM代理总结出动机，如不断变化的兴趣或情境需求

2 问题表述

  • 研究城市背景下，个体每日活动轨迹的生成，每个轨迹代表一个人一整天的活动
    • 每个个体的活动表示为一个时间有序的地点选择序列{(l0, t0),(l1, t1), ..., (ln, tn)}
      • (l, t)表示个体在时间t的位置l

3  方法

论文提出了LLMob

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

3.0 LLMob的假设

  • LLMob基于一个假设，即个体的活动主要受到两个主要因素的影响：
    • 习惯性活动模式
      • 典型的移动行为和偏好
      • 常规的旅行和地点选择
    • 当前动机
      • 个体在任何给定时刻决策的动态和情境因素
      • 捕捉和预测移动性模式的短期变化

3.1 LLMob三部分

  • 环境
    • 环境包含从现实世界数据中收集的信息，代理通过识别习惯性活动模式和生成轨迹来行动
  • 记忆
    • 需要提示给LLM以引发下一步行动的过去行动
    • 在LLMob中，记忆指的是代理输出的活动模式
  • 规划
    • 制定计划或反思过去的行动以处理复杂任务

3.2 第一阶段——从历史数据中识别活动模式

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

3.3 第二阶段——动机的检索 & 动机和活动模式的整合

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

3.4 两种RAG的检索

3.4.1 基于进化的动机检索

  • 即个体在任何给定日子的动机受到其在前几天的兴趣和优先级的影响
    • 新的动机通常是从现有动机中演化而来

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

3.4.2 基于学习的动机检索

  • 假设个体倾向于在其日常活动中建立例行公事，即使具体地点可能有所不同，但也由一致的动机指导
    • 例如，如果有人在工作日的早晨经常访问汉堡店，这种行为可能表明了对快速早餐的动机
  • 对于计划活动的每个新日期，唯一可用的信息是日期本身
    • 首先制定过去日期dp和当前日期dc之间的相对时间特征
      • 这个特征捕获了各种方面，如这两个日期之间的间隔以及它们是否属于同一个月
    • 训练一个分数估计器来评估任意两个日期之间的相似性
      • 由于缺乏监督信号，论文采用对比学习来训练fθ
        • 对于用户的每个轨迹扫描她的其他轨迹，并根据预定义的相似性分数识别相似（正面）和不相似（负面）的日期
          • 论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理
        • 对于每个日期d，根据相似性分数生成一个正面对（d, d+）和k个负面对（d, d-1），...，（d, d-k）并计算zd,d+，zd,d-1，...，zd,d-k
        • 将正面和负面对输入fθ(·)形成：
          • 论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理
        • 采用InfoNCE作为对比损失函数：
          • 论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理
  • ——>能够检索最相似的历史数据，从而让LLM生成那个时期流行的动机摘要
  • ——>推断出与查询日期相关的动机，为LLM生成新的活动轨迹提供基础

4 实验

4.1 数据集

  • 在东京的个人活动轨迹数据集上调查并验证LLMob。
    • 这个数据集通过Twitter API和Foursquare API获得，覆盖从2019年1月到2022年12月的数据。
    • 这个数据集的时间框架富有洞察力，因为它捕捉了COVID-19大流行之前的典型日常生活（即，正常时期）以及大流行期间的变化（即，异常时期）。
  • 随机选择了100名用户，根据可用轨迹的数量，以10分钟间隔模拟他们的个人活动轨迹。\
    • 论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理
  • 利用Foursquare中的类别分类来确定每个地点的活动类别。
  • 使用10个候选人物角色作为后续模式生成的先验

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

4.2 指标

  • 步长距离（SD）——轨迹上两个连续位置之间的距离
  • 步长间隔（SI）——轨迹上两个连续位置之间的时间间隔
  • ST-ACT——每条轨迹的空间-时间活动分布
  • ST-LOC——每条轨迹内访问地点的空间-时间分布，包括地理坐标和时间戳
  • 琴声-香农散度（JSD）——量化生成轨迹与实际轨迹之间的差异。较低的JSD更受青睐。

4.3 方法

  • 采用GPT-3.5-Turbo-0613作为LLM核心
    • 使用“LLMob-L”来表示整合了基于学习的动机检索方案的框架
    • 用“LLMob-E”来代表采用基于进化的动机检索方案
  • ablation study中的P和M分别是pattern和motivation

4.4 结果

4.4.1 正常情况/非正常情况下生成轨迹的结果比较

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

4.4.2 是否带“pandemic” prompt对于结果的影响

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理

论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati,语言模型,人工智能,自然语言处理文章来源地址https://www.toymoban.com/news/detail-838426.html

到了这里，关于论文笔记：Large Language Models as Urban Residents:An LLM Agent Framework for Personal Mobility Generati的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处： 如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：
领支付宝红包 赞助服务器费用

相关文章

  • 【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap

    【论文笔记】Unifying Large Language Models and Knowledge Graphs：A Roadmap

    （后续更新完善） 以往将KGs集成到大型语言模型的工作主要分为三个部分:1)将KGs集成到训练目标中，2)将KGs集成到LLM输入中，3)将KGs集成到附加的融合模块中。 2.1.1 Integrating KGs into Training Objective 这一类的研究工作集中在设计新的知识感知训练目标，一个直观的想法是在预训练

    2024年02月07日
    浏览(28)
  • Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    Unifying Large Language Models and Knowledge Graphs: A Roadmap 论文阅读笔记

    NLP, LLM, Generative Pre-training, KGs, Roadmap, Bidirectional Reasoning LLMs are black models and can\\\'t capture and access factual knowledge. KGs are structured knowledge models that explicitly store rich factual knowledge. The combinations of KGs and LLMs have three frameworks,  KG-enhanced LLMs, pre-training and inference stages to provide external knowl

    2024年02月19日
    浏览(31)
  • [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    [论文阅读笔记77]LoRA：Low-Rank Adaptation of Large Language Models

    题目 论文作者与单位 来源 年份 LoRA: Low-Rank Adaptation of Large Language Models microsoft International Conference on Learning Representations 2021 524 Citations 论文链接：https://arxiv.org/pdf/2106.09685.pdf 论文代码：https://github.com/microsoft/LoRA 研究主题 问题背景 核心方法流程 亮点 数据集 结论 论文类型 关

    2024年02月06日
    浏览(36)
  • 论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

    论文笔记：Evaluating the Performance of Large Language Models on GAOKAO Benchmark

    采用zero-shot prompting的方式，将试题转化为ChatGPT的输入 对于数学题，将公式转化为latex输入  主观题由专业教师打分 2010~2022年，一共13年间的全国A卷和全国B卷

    2024年03月15日
    浏览(36)
  • 论文笔记：A Simple and Effective Pruning Approach for Large Language Models

    论文笔记：A Simple and Effective Pruning Approach for Large Language Models

    iclr 2024 reviewer 评分 5668 大模型网络剪枝的paper 在努力保持性能的同时，舍弃网络权重的一个子集 现有方法 要么需要重新训练 这对于十亿级别的LLMs来说往往不现实 要么需要解决依赖于二阶信息的权重重建问题 这同样可能带来高昂的计算成本 ——引入了一种新颖、简单且有

    2024年04月17日
    浏览(28)
  • 论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

    论文笔记：Time-LLM: Time Series Forecasting by Reprogramming Large Language Models

    iclr 2024 reviewer 评分 3888 提出了 Time-LLM， 是一个通用的大模型重编程（LLM Reprogramming）框架 将 LLM 轻松用于一般时间序列预测，而无需对大语言模型本身做任何训练 为什么需要时序数据和文本数据对齐：时序数据和文本数据在表达方式上存在显著差异，两者属于不同的模态。

    2024年04月28日
    浏览(55)
  • [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    [论文阅读笔记] TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models

    TRACE: A Comprehensive Benchmark for Continual Learning In Large Language Models arXiv2023 复旦大学 Benchmark、Continual Learing、LLMs 已经对齐过的大模型 (Aligned LLMs )能力很强，但持续学习能力缺乏关注； 目前CL的benchmark对于顶尖的LLMs来说过于简单，并且在指令微调存在model的potential exposure。(这里的

    2024年01月18日
    浏览(39)
  • 【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

    【论文笔记】A Survey of Large Language Models in Medicine - Progress, Application, and Challenges

    将LLMs应用于医学，以协助医生和病人护理，成为人工智能和临床医学领域的一个有前景的研究方向。为此， 本综述提供了医学中LLMs当前进展、应用和面临挑战的全面概述 。 具体来说，旨在回答以下问题： 1）什么是LLMs，如何构建医学LLMs？ 2）医学LLMs的下游表现如何？ 3）

    2024年02月03日
    浏览(26)
  • 【论文阅读笔记】Würstchen: AN EFFICIENT ARCHITECTURE FOR LARGE-SCALETEXT-TO-IMAGE DIFFUSION MODELS

    【论文阅读笔记】Würstchen: AN EFFICIENT ARCHITECTURE FOR LARGE-SCALETEXT-TO-IMAGE DIFFUSION MODELS

    这篇文章提出了一个高效的用于文本到图像生成模型架构，整体思路比较直白，在不损失图像生成质量的情况下，相比于现有T2I模型（SD1.4，SD2.1等）大大节约了成本。附录部分给了一些有趣的东西，比如FID的鲁棒性 整篇文章还有点疑惑，比如阶段B的训练，使用的模型；节省

    2024年02月21日
    浏览(30)
  • 论文阅读 A Survey of Large Language Models 3

    论文阅读 A Survey of Large Language Models 3

    为了检验LLM的有效性和优越性，大量的任务和基准被用来进行实证评估和分析。我们首先介绍了LLM语言生成和理解的三种基本评估任务，然后介绍了LLM具有更复杂设置或目标的几个高级任务，最后讨论了现有的基准和实证分析。 在这一部分中，我们主要关注LLM的三种评估任务

    2024年02月13日
    浏览(28)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包，优惠每天领

二维码1

领取红包

二维码2

领红包