首页
/ AgentFormer 开源项目教程

AgentFormer 开源项目教程

2024-09-21 05:28:01作者:温艾琴Wonderful

项目介绍

AgentFormer 是一个用于社会时空多智能体预测的 Transformer 模型。该项目由 Ye Yuan、Xinshuo Weng、Yanglan Ou 和 Kris Kitani 在 ICCV 2021 上提出。AgentFormer 通过联合建模时间和社交维度,能够有效地预测多个智能体的未来轨迹。该模型在行人轨迹预测和自动驾驶数据集上表现出色,显著提升了现有技术的水平。

项目快速启动

环境准备

  1. 操作系统:MacOS 或 Linux
  2. Python:>= 3.7
  3. PyTorch:== 1.8.0
  4. 依赖安装
    pip install -r requirements.txt
    

数据准备

ETH/UCY 数据集

项目已经包含了一个转换后的 ETH/UCY 数据集,位于 datasets/eth_ucy 目录下。

nuScenes 数据集

  1. 下载原始的 nuScenes 数据集。
  2. 按照 nuScenes 预测挑战的说明进行操作。
  3. 下载并安装地图扩展。
  4. 运行以下脚本以获取处理后的 nuScenes 数据集:
    python data/process_nuscenes.py --data_root <PATH_TO_NUSCENES>
    

模型训练

AgentFormer 需要两阶段训练:

  1. 训练 AgentFormer VAE 模型(不包括轨迹采样器):

    python train.py --cfg user_eth_agentformer_pre --gpu 0
    
  2. 训练 AgentFormer DLow 模型(轨迹采样器):

    python train.py --cfg user_eth_agentformer --gpu 0
    

    注意:在第二阶段训练时,需要将 pred_cfg 字段设置为第一阶段使用的配置文件,并将 pred_epoch 设置为要使用的 VAE 模型 epoch。

模型评估

ETH/UCY 数据集

运行以下命令以测试 ETH 数据集的预训练模型:

python test.py --cfg eth_agentformer --gpu 0

可以使用 hotelunivzara1zara2 替换 eth 来测试其他数据集。

nuScenes 数据集

运行以下命令以测试 nuScenes 数据集的预训练模型:

python test.py --cfg nuscenes_5sample_agentformer --gpu 0

可以使用 10sample 替换 5sample 来计算所有指标(ADE_5、FDE_5、ADE_10、FDE_10)。

应用案例和最佳实践

行人轨迹预测

AgentFormer 在行人轨迹预测任务中表现出色,特别是在拥挤场景下。通过联合建模时间和社交维度,模型能够更好地捕捉行人的交互行为,从而提高预测的准确性。

自动驾驶

在自动驾驶领域,AgentFormer 可以用于预测周围车辆和行人的未来轨迹,帮助自动驾驶系统做出更安全的决策。通过多智能体轨迹预测,系统可以更好地规划行驶路径,避免潜在的碰撞风险。

典型生态项目

Social-LSTM

Social-LSTM 是一个早期用于行人轨迹预测的模型,通过 LSTM 网络建模行人的社交行为。AgentFormer 在其基础上进一步引入了 Transformer 架构,显著提升了预测性能。

nuScenes

nuScenes 是一个用于自动驾驶的多模态数据集,包含了丰富的传感器数据。AgentFormer 在 nuScenes 数据集上的表现证明了其在自动驾驶领域的应用潜力。

Transformer-based Object Detection

Transformer 在目标检测领域的应用也取得了显著进展,AgentFormer 借鉴了 Transformer 的架构,将其应用于多智能体轨迹预测任务,展示了 Transformer 在不同领域的广泛适用性。

通过本教程,您应该能够快速上手 AgentFormer 项目,并在实际应用中取得良好的效果。

登录后查看全文
热门项目推荐

项目优选

收起
docsdocs
OpenHarmony documentation | OpenHarmony开发者文档
Dockerfile
139
1.91 K
kernelkernel
deepin linux kernel
C
22
6
nop-entropynop-entropy
Nop Platform 2.0是基于可逆计算理论实现的采用面向语言编程范式的新一代低代码开发平台,包含基于全新原理从零开始研发的GraphQL引擎、ORM引擎、工作流引擎、报表引擎、规则引擎、批处理引引擎等完整设计。nop-entropy是它的后端部分,采用java语言实现,可选择集成Spring框架或者Quarkus框架。中小企业可以免费商用
Java
8
0
ohos_react_nativeohos_react_native
React Native鸿蒙化仓库
C++
192
273
RuoYi-Vue3RuoYi-Vue3
🎉 (RuoYi)官方仓库 基于SpringBoot,Spring Security,JWT,Vue3 & Vite、Element Plus 的前后端分离权限管理系统
Vue
923
551
openHiTLSopenHiTLS
旨在打造算法先进、性能卓越、高效敏捷、安全可靠的密码套件,通过轻量级、可剪裁的软件技术架构满足各行业不同场景的多样化要求,让密码技术应用更简单,同时探索后量子等先进算法创新实践,构建密码前沿技术底座!
C
421
392
openGauss-serveropenGauss-server
openGauss kernel ~ openGauss is an open source relational database management system
C++
145
189
金融AI编程实战金融AI编程实战
为非计算机科班出身 (例如财经类高校金融学院) 同学量身定制,新手友好,让学生以亲身实践开源开发的方式,学会使用计算机自动化自己的科研/创新工作。案例以量化投资为主线,涉及 Bash、Python、SQL、BI、AI 等全技术栈,培养面向未来的数智化人才 (如数据工程师、数据分析师、数据科学家、数据决策者、量化投资人)。
Jupyter Notebook
74
64
Cangjie-ExamplesCangjie-Examples
本仓将收集和展示高质量的仓颉示例代码,欢迎大家投稿,让全世界看到您的妙趣设计,也让更多人通过您的编码理解和喜爱仓颉语言。
Cangjie
344
1.3 K
easy-eseasy-es
Elasticsearch 国内Top1 elasticsearch搜索引擎框架es ORM框架,索引全自动智能托管,如丝般顺滑,与Mybatis-plus一致的API,屏蔽语言差异,开发者只需要会MySQL语法即可完成对Es的相关操作,零额外学习成本.底层采用RestHighLevelClient,兼具低码,易用,易拓展等特性,支持es独有的高亮,权重,分词,Geo,嵌套,父子类型等功能...
Java
36
8