软件架构

机器人RB5开发工具包可以对多种软件开发工具包和工具提供支持,包括Qualcomm人工智能神经处理软件开发工具包、Qualcomm机器人视觉软件开发工具包、Qualcomm计算机视觉软件开发工具包(FastCV)、Hexagon数字信号处理器软件开发工具包、以及机器人操作系统(RoS)。

该类软件开发工具包确保开发人员能够实现各种常见机器人功能,例如:

•目标跟踪、检测、分类

•目标深度估计和避障

•视觉定位与测绘(vSLAM)

•视觉惯性里程计(VIO)

•路径规划和3D地图生成

•人脸检测与识别

•场景分类和理解

•手势和手部跟踪(VIO)

•语音激活和音频分类

•深度学习

机器人RB5软件以乌班图语言为基础,确保开发人员能够安装第三方应用程序和程序库,以减少上市时间。

下图为显示RB5平台组件的方框图。

RB5平台包括以下功能:

•可从用户空间访问的多种多媒体子系统(显示器、图形、音频、视频和摄像头)

•Qualcomm Technologies GStreamer插件使用Qualcomm多媒体框架(QMMF)提供对视频和摄像头子系统的接入

•可以将Qualcomm定制的Pulse GStreamer插件用于音频功能

•显示器可以采用韦兰/XOrg。对于Weston应用程序,则直接通过韦兰协议接入。

•支持机器人操作系统2.0。机器人视觉模块根据机器人操作系统2.0的接口规范与机器人操作系统2.0交互。

•通过传感器机器人操作系统节点提供传感器数据

•Qualcomm Technologies特定的人工智能/机器学习组件

•通过GStreamer插件访问Qualcomm神经处理软件开发工具包

•支持TFLite及其相关的GStreamer插件。标准的TF Lite应用程序可以在shell中执行。

•支持Qualcomm计算机视觉软件开发工具包(FastCV):

•支持Hexagon数字信号处理器

因为该平台采用了乌班图语言,所以可以通过apt-get安装标准乌班图应用程序包。

由于该平台具有Ubuntu,因此可以通过apt-get安装标准的Ubuntu应用程序包。 本文档的后续章节中提供了其他详细信息。Qualcomm Multimedia Framework使用GStreamer元素提供对低级API的访问。建议使用GStreamer访问多媒体子系统。有关详细信息,请参阅GStreamer文档

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。