神经网络应用程序接口

QCS610上的神经网络应用程序接口、TensorFlow Lite、及GStreamer

神经网络应用程序接口是一种安卓C型应用程序接口,可以在安卓设备上运行各种机器学习操作,尤其是推理。有关编程模型神经网络应用程序接口运行时间编程流程的详细信息,请参阅原生开发套件指南的机器学习部分。

通过神经网络应用程序接口加载TFLite模型

Qualcomm®QCS610通过神经网络应用程序接口支持在Qualcomm®Hexagon™数字信号处理器、Qualcomm®Adreno™图形处理器和Qualcomm®Kryo™中央处理器上运行TFLite模型。

NNAPI框架已经从Android移植到我们的Hexagon DSP上。该模型使用TensorFlow进行训练,然后冻结并转换为TFLite格式。然后将模型给出给NNAPI运行时,该运行时具有将模型卸载给Hexagon DSP的能力。对于TFLite的用例,可以使用GStreamer TFLite插件。后处理的结果作为机器学习元数据传递给GStreamer缓冲区。使用NNAPI,可以通过直接开发应用程序来加速模型。

如要获得更多信息,请参阅Qualcomm®机器人RB5软件参考手册中的“Qualcomm人工智能Tensorflow用神经处理软件开发工具包”部分。

 

 

件开发工具包均为Qualcomm Technologies, Inc.和/或其子公司的产品。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。