高通AI Engine Direct SDK

高通®AI Engine Direct SDK为AI开发提供了较低级别的统一API。
开发人员可以在高通®AI加速器上进一步接近芯片(包括高通®Kryo™ CPU,高通®Adreno™ GPU和高通®Hexagon™ 处理器等)并提高其AI模型的性能。
他们可以使用SDK来定位特定的加速器,也可以委托TensorFlow Lite或ONNX运行时的工作负载直接访问我们的Hexagon处理器。

HTP:融合AI加速器架构的Hexagon处理器
cDSP:无融合AI加速器架构的Hexagon处理器
HTA:传统的独立张量加速器

特征
高通AI Engine Direct允许在软件中为不同的硬件核心进行清晰的分离。该SDK允许开发人员将高通AI Engine Direct视为硬件抽象API,并在这些硬件核心之间移植应用程序。API提供了正确级别的抽象和处理能力,例如内部的图形优化,同时将更广泛的功能(如模型解析和网络分区)留给更高级别的框架。
开发人员可以在特定于核心的后端库提供的功能与库大小和内存利用率的成本之间进行权衡。由此产生的编译结果是一个高性能、灵活的可执行文件,在提供最高性能的同时占用最少的内存。

结构
该体系结构旨在提供模块化、可扩展、特定于加速器的库,这些库构成了全栈AI解决方案的可重用基础。并被高通技术公司(QTI)用在高通®神经处理SDK中作为第三方框架(如TensorFlow Lite和ONNX运行时)的代理。
高通AI Engine Direct架构提供了主要组件——工具、设备、后端、上下文、图形、操作包注册表——用于在最适合的核心上构建、优化和执行网络模型。

开始
高通AI Engine Direct SDK现在可以下载了。快来了解如何在骁龙®处理器上运行全栈AI解决方案并使用其统一API和核心特定库。了解更多有关信息,请访问高通®AI堆栈。

骁龙和高通公司品牌产品是高通技术有限公司和/或其子公司的产品。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。