研究介绍
本文介绍了一个大规模的难例动作捕捉数据集——HardMo,旨在弥补现有人体mesh恢复方法(HMR)在处理舞蹈和武术等场景中不常见姿势的不足。由于这些领域的动作具有高速度和高张力特征,而现有数据集大多聚焦于日常动作,缺乏这类复杂动作的样本,导致模型难以有效处理舞蹈和武术场景。为此,我们提出了一套数据收集流程,包括自动爬取、精确标注和难例挖掘,基于此流程快速建立了包含
700万张图片的大型数据集HardMo。这些图片覆盖了15类舞蹈和14类武术,每张图片都配有精确的标注。实验发现,舞蹈和武术中的预测失败主要表现在手腕和脚踝的不对齐上。 此外针对这两个难点,我们利用提出的自动化流程筛选出相关数据,构建了名为HardMo-Hand和HardMo-Foot的子集。广泛的实验表明,我们的标注流程和数据驱动解决方案的有效性。特别是,经HardMo训练后的HMR方法甚至在我们的基准测试上超过了当前的最先进技术,4DHumans。


