量化工作流程
开发人员使用Qualcomm® 神经处理SDK为搭载 Snapdragon® 移动平台的设备构建 ML 解决方案，可以将 AI 模型效率工具包 (AIMET) 整合到他们的模型构建工作流程中，如下图所示和概述。
1. 该模型使用具有标准 32 位浮点 (FP32) 权重的 PyTorch 或 TensorFlow 进行训练。
2. 用户使用 AIMET 内置的训练后量化技术优化模型进行量化。跨层均衡 (CLE) 和 AdaRound 等训练后技术可以在没有标记数据的情况下使用，并且可以在不需要模型微调的情况下为多个模型提供良好的性能，从而避免超参数调优和训练的时间和精力。AIMET 使用量化模拟评估模型准确性，从而估计在目标上运行量化推理时的预期性能。
3. 用户（可选）使用 AIMET 的量化感知训练功能对模型进行微调，通过模拟量化噪声和调整模型参数来对抗这种噪声，进一步提高量化性能。
4. 优化后的模型导出为典型的 TensorFlow 或 PyTorch 模型，以及包含推荐量化编码的 JSON 文件。
5. 第 4 步的输出被输送到Qualcomm 神经处理SDK中的模型转换工具。这将使用 AIMET 生成的量化编码将模型转换为 Qualcomm Technologies的DLC格式，以在SoC的Qualcomm® AI 引擎上实现最佳执行。
6. 转换后的 (DLC) 模型部署在目标硬件上。
Qualcomm 开发者专区是 Qualcomm 联合CSDN 共同打造的面向中国开发者的技术专区。致力于通过提供全球最新资讯和最多元的技术资源及支持，为开发者们打造全面一流的开发环境。本专区将以嵌入式、物联网、游戏开发、Qualcomm® 骁龙™处理器的软件优化等技术为核心，打造全面的开发者技术服务社区，为下一代高性能体验和设计带来更多的想法和灵感。
加入 Qualcomm 开发者专区高通 AI Hub
全新高通 AI Hub 包含预优化AI模型库，支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型，比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B，可在不同执行环境(runtime)中打包，能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化，以充分利用高通AI引擎内所有核心（NPU、CPU和GPU）的硬件加速能力，从而使推理速度提升4倍。
Qualcomm 活动 更多
SDK 下载
本版块下载 SDK，只需简单注册，就可轻松下载。