稳定扩散(SD)模型

介绍
本指南介绍了如何准备和优化稳定扩散(SD)模型,以便使用高通AI Stack在骁龙设备上的Windows运行。当一个Jupyter notebook笔记本的输出被下一个笔记本使用时,应该按顺序遵循三个Jupyter笔记本,例如,优化的模型文件用于AI Engine Direct模型准备,输出上下文二进制文件用于在目标骁龙设备上执行模型。

适用于骁龙设备的AI模型效率工具包模型优化
在本笔记本中,您将学习如何优化骁龙设备的稳定扩散模型,包括如何使用AI模型效率工具包(AIMET)来应用训练后量化技术来提高量化模型的准确性。

高通AI引擎Direct模型准备
在本笔记本中,您将学习如何准备在骁龙设备上的Windows运行优化模型,包括如何将.onx文件转换为高通AI Engine Direct等效文件,生成高通AI Engine直通模型库,以及生成高通AI引擎直通上下文二进制文件,以便在骁龙设备上的Windows使用。

高通AI引擎Direct模型执行
在本笔记本中,您将学习如何在骁龙设备上的Windows执行优化的和准备好的模型,包括如何单独运行模型,以及在用户提示下作为稳定扩散管道执行的一部分。

Qualcomm 解决方案

 

高通 AI Hub

全新高通 AI Hub 包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。
该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。

了解更多

SDK 下载

本版块下载 SDK,只需简单注册,就可轻松下载。