手势识别数据集:Jester

您的模型可以识别某些简单的单帧手势,例如竖起大拇指。但是对于一个真正响应迅速、准确的系统,您希望您的模型也能够识别复杂的手势,即使它们之间的差异很细微。这个人是在指着什么东西还是在摆动他们的食指?是一个手在清洁显示屏还是用两根手指放大和缩小图像?一旦给定足够多的示例,您的模型可以了解其中的差异。

Jester 手势识别数据集包括 148,092 个带标签的人类在笔记本电脑摄像头或网络摄像头前执行基本的、预定义的手势的视频剪辑。它旨在训练机器学习模型以识别人类手势,例如向下滑动两根手指、向左或向右滑动以及敲击手指。

这些剪辑涵盖了 27 种不同类别的人类手势,按照 8:1:1 的比例进行了训练、开发和测试。该数据集还包括两个“无手势”类别,以帮助网络区分特定手势和未知手部动作。

在移动计算时代,手势/动作识别及其在人机界面中的作用变得越来越重要。Jester 视频数据集允许训练强大的机器学习模型来识别人类手势。

来自 Jester 数据集的样本:

一、示例类别

做其他事情

滚动手 向前

握手

停止标志

向左滑动

拇指向下

拇指向上

顺时针

转动手 逆时针转动

用全手

缩小 用两个手指缩小

Jester 数据集是在 1,300 多名独特的人群演员的帮助下创建的。

开发人员已经成功创建了基于训练集的分类模型,并发现它们在验证集上表现良好。在测试集上运行模型,开发人员可以达到高达 97% 的分数。

视频数据作为一个大型 TGZ 存档提供,切分成最大为 1 GB 的部分。总下载大小为 22.8 GB。存档包含编号从 1 到 148092 的目录。每个目录对应一个视频,并包含高度为 100 像素和可变宽度的 JPG 图像。JPG 图像以每秒 12 帧的速度从原始视频中提取出来。JPG 的文件名从 00001.jpg 开始。JPG 的数量随着原始视频的长度而变化。

三、数据集许可证

Jester 数据集可用于研究目的。

数据许可协议 - 研究用途

下载(92.9 KB) 22 年 2 月 23 日更新

四、标签

20BN-Jester 下载包装标签

下载(770.1 KB)21 年 12 月 3 日更新 查看许可协议

五、数据集下载

请下载所有文件,包括下载说明。

注意:由于流量增加,下载速度可能会比平时慢。

六、引文

“Jester数据集:人类手势的大规模视频数据集”,J. Materzynska、G. Berger、I. Bax 和 R. Memisevic,IEEE/CVF (ICCVW) 2019。

七、高通人工智能研究中心

人工智能正在从简单地看到镜头前发生的事情转变为理解它。数据是这些深度学习突破背后的有效力量,是人类神经网络性能不可或缺的一部分。我们的数据收集众包方法克服了众包的典型限制,从而产生了字幕密集、以人为本和多样化的高质量视频数据。

高通人工智能研究中心继续投资并支持计算机视觉领域的深度学习研究。发布供 AI 研究社区使用的 Jester 数据集是我们的众多举措之一。

了解有关Qualcomm 人工智能研究的更多信息。

如有任何问题或技术支持,请通过research.datasets@qti.qualcomm.com联系我们

高通人工智能研究是 高通技术公司的一项重大项目。

Qualcomm 解决方案

 

XR

Qualcomm XR专区是 Qualcomm和CSDN联合建立的聚焦增强现实(AR)、虚拟现实(VR)等技术的技术专区。本专区将为开发者打造一流的开发环境,提供丰富的技术支持,和业界资讯,以及最全面的下载资料。让开发者感受非凡移动体验、带来身临其境的移动享受、感受精彩生活、无限接近逼真视觉提供支持,打造一个全面的移动开发者技术服务社区。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。