AI 模型高效工具包 (AIMET)
AIMET(AI Model Efficiency Toolkit) 是一个开源库,用于优化训练好的神经网络模型。它通过提供先进的模型压缩和量化技术在保持任务准确性的同时缩小模型体积。较小的模型能够转换为高效的运行时性能和更低的延迟以及更小的计算、内存和功耗消耗。
开发人员可以将 AIMET 的高级模型压缩和量化算法整合到他们的 PyTorch 和 TensorFlow 模型构建管道中,以实现训练后优化以及模型微调的自动化。将这些算法自动化有助于消除手动优化神经网络的需要,从而避免耗时、易出错且难以重复的手动调优神经网络任务。
高通创新中心(QuIC)在GitHub上开源了AIMET,以与其他领先的 AI 研究人员合作,并为 AI 开发人员提供一个简单的插件库,以利用最先进的模型效率性能。尖端压缩和量化技术基于Qualcomm AI Research的创新研究。
Qualcomm 开发者专区是 Qualcomm 联合CSDN 共同打造的面向中国开发者的技术专区。致力于通过提供全球最新资讯和最多元的技术资源及支持,为开发者们打造全面一流的开发环境。本专区将以嵌入式、物联网、游戏开发、Qualcomm® 骁龙™处理器的软件优化等技术为核心,打造全面的开发者技术服务社区,为下一代高性能体验和设计带来更多的想法和灵感。
加入 Qualcomm 开发者专区高通 AI Hub
全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。
Qualcomm 活动 更多
SDK 下载
本版块下载 SDK,只需简单注册,就可轻松下载。