软件架构

机器人RB5开发工具包可以对多种软件开发工具包和工具提供支持,包括Qualcomm人工智能神经处理软件开发工具包、Qualcomm机器人视觉软件开发工具包、Qualcomm计算机视觉软件开发工具包(FastCV)、Hexagon数字信号处理器软件开发工具包、以及机器人操作系统(RoS)。

该类软件开发工具包确保开发人员能够实现各种常见机器人功能,例如:

•目标跟踪、检测、分类

•目标深度估计和避障

•视觉定位与测绘(vSLAM)

•视觉惯性里程计(VIO)

•路径规划和3D地图生成

•人脸检测与识别

•场景分类和理解

•手势和手部跟踪(VIO)

•语音激活和音频分类

•深度学习

机器人RB5软件以乌班图语言为基础,确保开发人员能够安装第三方应用程序和程序库,以减少上市时间。

下图为显示RB5平台组件的方框图。

RB5平台包括以下功能:

•可从用户空间访问的多种多媒体子系统(显示器、图形、音频、视频和摄像头)

•Qualcomm Technologies GStreamer插件使用Qualcomm多媒体框架(QMMF)提供对视频和摄像头子系统的接入

•可以将Qualcomm定制的Pulse GStreamer插件用于音频功能

•显示器可以采用韦兰/XOrg。对于Weston应用程序,则直接通过韦兰协议接入。

•支持机器人操作系统2.0。机器人视觉模块根据机器人操作系统2.0的接口规范与机器人操作系统2.0交互。

•通过传感器机器人操作系统节点提供传感器数据

•Qualcomm Technologies特定的人工智能/机器学习组件

•通过GStreamer插件访问Qualcomm神经处理软件开发工具包

•支持TFLite及其相关的GStreamer插件。标准的TF Lite应用程序可以在shell中执行。

•支持Qualcomm计算机视觉软件开发工具包(FastCV):

•支持Hexagon数字信号处理器

因为该平台采用了乌班图语言,所以可以通过apt-get安装标准乌班图应用程序包。

由于该平台具有Ubuntu,因此可以通过apt-get安装标准的Ubuntu应用程序包。 本文档的后续章节中提供了其他详细信息。Qualcomm Multimedia Framework使用GStreamer元素提供对低级API的访问。建议使用GStreamer访问多媒体子系统。有关详细信息,请参阅GStreamer文档

Qualcomm 解决方案

 

XR

Qualcomm XR专区是 Qualcomm和CSDN联合建立的聚焦增强现实(AR)、虚拟现实(VR)等技术的技术专区。本专区将为开发者打造一流的开发环境,提供丰富的技术支持,和业界资讯,以及最全面的下载资料。让开发者感受非凡移动体验、带来身临其境的移动享受、感受精彩生活、无限接近逼真视觉提供支持,打造一个全面的移动开发者技术服务社区。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。