推荐开源项目：HACS-dataset - 视频行为识别与定位的新型数据集

HACS-dataset 是一个创新的视频数据集，它包含了两种类型的手动标注：HACS Clips 和 HACS Segments。这个大规模的数据集特别适合预训练行为识别和定位模型，并且作为时间轴上行为定位的新基准。该项目的最新版本还整合了SLAC数据集。

官方网站: http://hacs.csail.mit.edu/ 论文链接: https://arxiv.org/abs/1712.09374

更新至v1.1.1

在v1.1的基础上进行了一次小规模更新，移除了部分无效的视频。

获取标注文件

1. 克隆仓库：

git clone https://github.com/hangzhaomit/HACS-dataset.git

2. 解压缩文件：

unzip HACS_v1.1.1.zip

3. 检查数据集统计信息：

python dataset_stats.py

标注文件格式

1. HACS Clips 的标注文件是 HACS_v1.1.1/HACS_clips_v1.1.1.csv，其中 "label": 1 表示正样本，"label": -1 表示负样本。
2. HACS Segments 的标注文件是 HACS_v1.1.1/HACS_segments_v1.1.1.json，格式与ActivityNet数据集相同。

获取视频

1. 安装以下库：
   • 视频下载工具 (https://github.com/rg3/youtube-dl)
   • FFmpeg (https://www.ffmpeg.org/)
2. 运行以下命令获取视频： python download_videos.py --root_dir ROOT_DIR [--dataset {all,segments}] [--shortside SHORTSIDE]
   • ROOT_DIR 为保存获取视频的根目录；视频按照 ROOT_DIR/CLASSNAME/v_ID.mp4 结构存储；
   • 可以选择获取所有视频（默认）或仅获取HACS Segments视频；
   • 默认将视频短边调整到256像素，以节省磁盘空间，可通过 --shortside 调整。

请求测试视频及缺失视频

• 如需访问完整的测试视频，请填写请求表单：https://goo.gl/forms/0STStcLndI32oke22。您将在72小时内收到链接。
• 若遇到缺失的视频，可按照指南获取缺失的链接并获取。

引用

如果您的研究受益于HACS-dataset，请引用：

@inproceedings{zhao2019hacs,
  title={Hacs: Human action clips and segments dataset for recognition and temporal localization},
  author={Zhao, Hang and Torralba, Antonio and Torresani, Lorenzo and Yan, Zhicheng},
  booktitle={Proceedings of the IEEE International Conference on Computer Vision},
  pages={8668--8678},
  year={2019}
}

项目特点：

• 多样性和全面性：HACS-dataset 包含大量不同类别的人类行为，适用于广泛的行为识别和定位任务。
• 精细标注：不仅提供了2秒片段的标注（HACS Clips），还提供了完整动作段的标注（HACS Segments）。
• 易于使用：提供清晰的获取、解压和验证脚本，便于研究人员快速集成到自己的项目中。
• 持续更新：定期维护，及时补充丢失的视频，并提供测试视频的访问渠道。

如果你正在寻找一个强大的视频数据集来提升你的行为识别和定位算法，HACS-dataset无疑是理想的选择。立即加入，开启智能视频处理的探索之旅吧！