Skip to content

Latest commit

 

History

History
223 lines (156 loc) · 12.7 KB

README_zh-CN.md

File metadata and controls

223 lines (156 loc) · 12.7 KB
Raw

简介

English | 简体中文

Documentation actions codecov PyPI LICENSE Average time to resolve an issue Percentage of issues still open

MMAction2 是一款基于 PyTorch 的视频理解开源工具箱，是 OpenMMLab 项目的成员之一

主分支代码目前支持 PyTorch 1.3 以上的版本


Kinetics-400 上的动作识别

AVA-2.1 上的时空动作检测

主要特性

  • 模块化设计 MMAction2 将统一的视频理解框架解耦成不同的模块组件，通过组合不同的模块组件，用户可以便捷地构建自定义的视频理解模型

  • 支持多样的数据集 MMAction2 支持多种数据集的准备和构建，包括 UCF101, Kinetics-[400/600/700], Something-Something V1&V2, Moments in Time, Multi-Moments in Time, THUMOS14 等

  • 支持多种视频理解任务 MMAction2 支持多种主流的视频理解任务

    • 动作识别：TSN, TSM, TIN, R(2+1)D, I3D, SlowOnly, SlowFast, CSN, Non-local 等
    • 时序动作检测：BSN, BMN, SSN
    • 时空动作检测：SlowOnly + Fast-RCNN, SlowFast + Fast-RCNN

    具体可参考 模型库

  • 详尽的单元测试和文档 MMAction2 提供了详尽的说明文档，API 接口说明，全面的单元测试，以供社区参考

更新记录

v0.12.0 版本已于 2021 年 2 月 28 日发布，可通过查阅 更新日志 了解更多细节以及发布历史

基准测试

Model input io backend batch size x gpus MMAction2 (s/iter) MMAction (s/iter) Temporal-Shift-Module (s/iter) PySlowFast (s/iter)
TSN 256p rawframes Memcached 32x8 0.32 0.38 0.42 x
TSN 256p dense-encoded video Disk 32x8 0.61 x x TODO
I3D heavy 256p videos Disk 8x8 0.34 x x 0.44
I3D 256p rawframes Memcached 8x8 0.43 0.56 x x
TSM 256p rawframes Memcached 8x8 0.31 x 0.41 x
Slowonly 256p videos Disk 8x8 0.32 TODO x 0.34
Slowfast 256p videos Disk 8x8 0.69 x x 1.04
R(2+1)D 256p videos Disk 8x8 0.45 x x x

更多详情可见 基准测试

模型库

支持的行为识别方法：

(点击收起)

支持的时序动作检测方法：

(点击收起)
  • BSN (ECCV'2018)
  • BMN (ICCV'2019)
  • SSN (ICCV'2017)

支持的时空检测方法：

(点击收起)

各个模型的结果和设置都可以在对应的 config 目录下的 README.md 中查看。整体的概况也可也在 模型库 页面中查看

我们将跟进学界的最新进展，并支持更多算法和框架。如果您对 MMAction2 有任何功能需求，请随时在 问题 中留言。

数据集

支持的 数据集：

支持的动作识别数据集：

(点击收起)

支持的时序动作检测数据集：

(点击收起)

支持的时空动作检测数据集：

(点击收起)

安装

请参考 安装指南 进行安装

数据集准备

请参考 数据准备 了解数据集准备概况。所有支持的数据集都列于 数据集清单 中

教程

请参考 基础教程 了解 MMAction2 的基本使用。MMAction2也提供了其他更详细的教程:

常见问题

请参考 FAQ 了解其他用户的常见问题

许可

该项目开源自 Apache 2.0 license

引用

如果你觉得 MMAction2 对你的研究有所帮助，可以考虑引用它：

@misc{2020mmaction2,
    title={OpenMMLab's Next Generation Video Understanding Toolbox and Benchmark},
    author={MMAction2 Contributors},
    howpublished = {\url{https://github.com/open-mmlab/mmaction2}},
    year={2020}
}

参与贡献

我们非常欢迎用户对于 MMAction2 做出的任何贡献，可以参考 贡献指南 文件了解更多细节

致谢

MMAction2 是一款由不同学校和公司共同贡献的开源项目。我们感谢所有为项目提供算法复现和新功能支持的贡献者，以及提供宝贵反馈的用户。 我们希望该工具箱和基准测试可以为社区提供灵活的代码工具，供用户复现现有算法并开发自己的新模型，从而不断为开源社区提供贡献。

OpenMMLab 的其他项目

  • MMCV: OpenMMLab 计算机视觉基础库
  • MMClassification: OpenMMLab 图像分类工具箱与测试基准
  • MMDetection: OpenMMLab 检测工具箱与测试基准
  • MMDetection3D: OpenMMLab's 新一代通用3D目标检测平台
  • MMSegmentation: OpenMMLab 语义分割工具箱与测试基准
  • MMAction2: OpenMMLab's 新一代视频理解工具箱与测试基准
  • MMTracking: OpenMMLab 一体化视频目标感知平台
  • MMPose: OpenMMLab 姿态估计工具箱与测试基准
  • MMEditing: OpenMMLab 图像视频编辑工具箱