高通AI软件栈

高通®AI 软件栈是一种端到端的AI软件产品,它将高通AI软件功能收敛到一个统一的软件中,以支持多个产品线。

高通公司的AI 软件栈有助于统一我们现有的AI软件产品,使其更易于使用,也更易于开发人员和制造商访问。重新调整您构建的AI应用程序用途时,只需要使用单个软件栈,而无需跨硬件进行移植。

支持的硬件

• 智能手机

• XR(VR/AR)设备

• 物联网设备和工业物联网(IIoT)机器

• 机器人

• 骁龙数字底盘

• 基于骁龙的Windows

• 云计算

高通公司AI 软件栈旨在支持多种用例,包括:

功能

• 通用人工智能和机器学习

• 模型优化和量化

• 基于AI的摄像头、语音/音频功能

• 增强现实和虚拟现实

• 高级驾驶员辅助系统(ADAS)和辅助驾驶(AD)

• 机器视觉

• 自然语言处理

作为软件栈的一部分,高通®AI Engine Direct可扩展到各种产品中的AI加速器。OEM和开发人员只需要使用高通公司的AI 软件栈开发和优化一次AI模型,然后在不同的高通公司产品和层之间移动相同的模型。这是一种真正的“一次开发,随时随地部署”模式,有助于OEM和开发人员节省时间和资源。

如果您正在开发使用以下SDK的解决方案,那么您已经在使用高通AI 软件栈。如果您正在其他平台上开发,包括智能手机、基于骁龙的Windows和物联网设备,也可以选择直接使用高通AI 软件栈。

特定领域的SDK

高通神经处理SDK-使用骁龙优化设备上训练的神经网络性能

骁龙驾驶 SDK-可扩展、完全定制的ADAS平台

• 智能多媒体SDK-将多媒体、AI和ML、计算机视觉(CV)和网络构建块结合在一起,以支持机器人应用程序的端到端部署

骁龙Spaces™ XR开发者平台-围绕骁龙平台、Unity、Unreal和其他技术创建XR应用程序

工具

高通AI模型效率工具包(AIMET)-用于优化(压缩和量化)训练神经网络模型的开放源代码库。

AIMET模型库–直接访问高精度量化模型,提高性能并减少能耗、延迟和内存。

• NAS-NAS旨在使用人工智能,通过为特定硬件或性能目标创建最佳的神经拓扑来帮助自动创建和优化网络。我们将与谷歌合作,将Vertex AI NAS集成到高通公司神经处理SDK中,以使OEM/生态系统能够在几周内创建、测试和部署独特高效的边缘体验,同时使用更少的资源。

在最顶层,我们可以看到高通AI 软件栈与流行的AI框架和运行时(如TensorFlow、PyTorch和ONNX)以及推断SDK(如高通神经处理SDK)协同工作。

在开发者库和服务层级,您将发现高通AI 软件栈对当前编程语言、开源QEMU等虚拟平台以及LLVM和TVM等编译器的支持。

系统软件层包括实时操作系统、系统接口和驱动程序。

操作系统级别包括对Android、Chrome操作系统、Windows和Linux等操作系统的支持,以及Prometheus、Kubernetes和Docker等基础设施操作系统。

高通公司AI 软件栈有助于为开发人员和制造商缩短其上市时间并提供竞争优势。

骁龙、高通AI 软件栈、骁龙驾驶、骁龙数字底盘、骁龙Spaces、高通神经处理SDK和高通AI Engine Direct是高通技术公司和/或其子公司的产品。AIMET是高通创新中心公司的产品。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过100个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。