人工智能工具和资源中的常用术语

以下是您在使用人工智能工具和资源时可能遇到的一些术语和概念。

深度学习容器 (DLC) 文件
最新的 骁龙® 移动平台支持各种机器学习框架,如 TensorFlow、TFLite、Pytorch、ONNX、Caffe、Caffe2 等。Pytorch、ONNX、Caffe、Caffe2 等。为了在硬件上支持所有这些框架,应使用与 SDK 共享的转换工具将 .pb、.onnx、.pth 等模型文件转换为 .dlc 文件。在转换过程中还进行了许多层级优化,以便模型可以在我们的平台上高效运行。

量化
将量化技术应用于训练后的模型,以减小模型的大小并提高模型的性能。DLC 文件从 FP32 精度转换为较低精度,如 INT4、INT8 等。用户还可以使用降低精度的浮点表示形式,如 FP16。这样做的目的是减小模型的大小,并且执行速度也更快。权重、偏差和激活的静态量化是在支持不对称动态范围和任意步长的情况下完成的。在人工智能加速器上运行模型需要量化。用于此目的的工具与 SDK 一起共享。

用户定义操作 (UDO)
开发人员也可以定义自己的操作并将其编译为在 CPU/GPU/人工智能加速器 (HTP) 上运行。开发人员可以使用 C/C++ 等语言来开发 CPU 的操作。对于GPU,可以使用OpenCL。对于Qualcomm HTP,使用Hexagon DSP 的汇编指令。执行 UDO 时,加速器内核和 CPU/GPU 之间可能存在上下文切换,因此开发人员应根据性能需求选择 UDO 的编译目标。更多详细信息可以在这里找到。

用户定义操作 (UDO)
Ops 是机器学习模型图中的节点。Ops 的示例有 Argmax、Conv2d 等。
骁龙和高通计算机视觉是高通技术公司和/或其子公司的产品。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。