AI 模型高效工具包 (AIMET)

AIMET(AI Model Efficiency Toolkit) 是一个开源库,用于优化训练好的神经网络模型。它通过提供先进的模型压缩和量化技术在保持任务准确性的同时缩小模型体积。较小的模型能够转换为高效的运行时性能和更低的延迟以及更小的计算、内存和功耗消耗。

开发人员可以将 AIMET 的高级模型压缩和量化算法整合到他们的 PyTorch 和 TensorFlow 模型构建管道中,以实现训练后优化以及模型微调的自动化。将这些算法自动化有助于消除手动优化神经网络的需要,从而避免耗时、易出错且难以重复的手动调优神经网络任务。

高通创新中心(QuIC)在GitHub上开源了AIMET,以与其他领先的 AI 研究人员合作,并为 AI 开发人员提供一个简单的插件库,以利用最先进的模型效率性能。尖端压缩和量化技术基于Qualcomm AI Research的创新研究。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。