音频

利用音频子系统,用户空间应用程序可以捕获音频并请求回放。音频数字信号处理器(ADSP)是负责捕获和播放的组件。所提供的计算数字信号处理器(CDSP)组件同样可以用于任何高性能音频用例,包括关键字激活、远场语音、回声抵消、和噪声抑制。

在下图中显示了音频捕获和播放的流程。可以采用多种方式访问音频子系统,包括全球通信系统脉冲元素(接收器、源)和脉冲客户端。

对音频子系统的抽象化由脉冲音频提供。脉冲音频是平台上所支持的声音服务器。GStreamer应用程序可以打开脉冲接收器和脉冲源元素分别渲染或捕获音频。捕获的音频可以输出到ROS2 节点进行进一步处理。音频子系统内置智能系统,即具有FFV、ECNS和SVA的Qualcomm®语音套件。Qualcomm®智能音频平台的详细信息可以在QTI公司网站上获得。

参考示例

以下为使用脉冲接收器和脉冲源的示例。

支持高级Linux声音架构直连路由。可以调用必要的高级Linux声音架构源和接收器元素。

高级数字信号处理支持压缩卸载播放。这种模式节省了电力,因为压缩的音频数据被发送到高级信号处理的同时进行解码和播放。这样可以尽可能地关闭应用程序处理器(例如,播放音乐时关闭屏幕)。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。