QCS6490 LU 平台上运行人体动作检测

项目目标

ResNet3D 人体动作识别视频 Demo 简介

该基于 ResNet3D 的人体动作识别视频 Demo 的灵感来源于两个核心驱动因素：对高效终端侧智能感知解决方案日益增长的需求，以及 将先进深度学习架构与边缘计算硬件相结合所蕴含的巨大潜力。近年来，人体动作识别已成为智能安防、工业安全监测和辅助生活等多个领域中的关键技术。然而，传统动作识别模型普遍面临一个工程层面的两难问题：复杂模型虽然具备更高的识别精度，但在边缘设备上推理速度缓慢；而轻量化模型虽能满足实时性需求，却往往以牺牲识别性能为代价。正是这一现实差距，促使对一种兼顾精度与效率的解决方案进行探索。

Qualcomm QCS6490 平台所具备的强大异构计算能力，以及其配套的 QNN（Qualcomm Neural Network）加速框架，为解决上述问题提供了理想的技术基础。ResNet3D 在视频时序建模方面展现出的优势，使其能够有效捕获视频数据中的时空特征，从而弥补传统 2D 模型在动态动作理解上的不足；而 QNN 优化后的推理引擎则为模型在终端侧的高效运行提供了关键支撑。二者的结合，不仅切中了边缘侧动作识别在性能与效率方面的实际痛点，也契合了当前 AI 计算从云端向终端迁移的发展趋势，有助于构建更低时延、更注重隐私保护的智能应用。

该项目的预期目标主要体现在两个层面：技术验证 与 实际应用赋能。在技术层面，通过在 Qualcomm QCS6490 平台上结合 ResNet3D 与 QNN 加速，验证在中端边缘计算硬件上部署复杂 3D 深度学习模型的可行性，力求在主流人体动作识别数据集（如 UCF101 或 HMDB51）上实现 超过 85% 的识别准确率，同时将 单帧视频推理延迟控制在 100ms 以内。该结果将为后续相关研究和工程实践提供有价值的技术参考。

在实际应用层面，该 Demo 被设计为一个可复用的技术原型，能够支撑多种终端侧智能应用场景。例如，在工业环境中，可将其集成至安全监控系统，用于实时识别危险行为（如未佩戴防护装备或违规操作设备）并触发告警；在智能家居场景中，可用于实现基于手势的设备控制，或对老年人居家安全进行行为监测。此外，该项目也有助于展示 Qualcomm 边缘 AI 硬件与软件生态的潜力，推动更多围绕终端侧人体动作识别技术的创新应用探索，加速边缘智能在日常生活和工业生产中的落地与普及。

项目说明

本项目在QCS6490 Ubuntu上实现了一个用于视频中人体动作识别的Web应用程序。此演示基于TFLite模型，并在Edge Impulse模型中进行转换，以便使用QNN在QCS6490上加速运行。

所需材料/零部件清单/工具

  • Thundercomm EB3G2 Edge AI Station

源代码/源示例/可执行应用程序

  • 源代码

应用效果

额外资源

  • 视频链接

构建/汇编指令

1. 按照 https://github.com/ThunderSoft-XA/Resnet-3D-demo-on-QCS6490 中的 README 指南及其下的文档，在 EB3 设备上部署模型。

2. 在设备上克隆项目

3. 在代码中运行部署脚本。

使用说明

1. 在设备上运行服务启动脚本。

2. 从浏览器访问步骤3中显示的链接

3. 在网页上上传视频，点击视频画面，对当前视频帧中的人体动作进行分类。

提供人信息

如提交有关内容（以下简称为“提交内容”），则表明您向高通公司授予有关以下各项的免费、永久性、非排他性、不受限制、全球范围内的许可：(a)公布、使用、复制、转授、改编、传输、公开执行或展示提交内容；(b)在没有限制条件的情况下使用、复制、修改、改编、发布、翻译、创作衍生作品、分发、执行、演示、托管、提供和发布您的提交内容；(c)向第三方转授无限制的行使针对提交内容所授予的前述任何权利的权利。前述权利应当包括利用提交内容中的任何理念、概念、知识产权、或专有权利的权利，包括但不限于在任何相关司法管辖区内根据著作权、商标、服务标记或专利等法律所享有的权利，同时高通公司无须向您支付任何款项。您声明并保证，您拥有有关提交内容的所有权利、所有权和权益，或您已被授予有关提交内容的充分权利，以确保能够按照前述方式使用提交内容。