8550DK 运行Stable Diffusion

项目目标

Stable Diffusion作为知名度很高的文生图模型（同时也是门槛相对较低的生成式AI模型），在移动端部署具有重大的现实意义和深远的历史影响，是生成式AI的走向大众的重要抓手和着力点，对于推进生成式AI建设有着不可磨灭的贡献。

项目说明

该项目构建了一个cli应用程序，在C8550DK平台运行开源模型Stable Diffusion（v1.5），使用dsp以500ms/it的运行速度根据prompt进行图像生成的推理。

所需材料/零部件清单/工具

  • C8550 DK

  • USB Line

  • Charger

高通 C8550DK套件

Type-c 数据线

电源

源代码/源示例/可执行应用程序

  • 源代码

应用效果

额外资源

  • 视频链接

构建/汇编指令

# 在C8550-LE SDK中

bash build.sh

使用说明

由于版权要求，QNN SDK和模型文件不直接提供。QNN SDK下载地址https://www.qualcomm.com/developer/software/qualcomm-ai-engine-direct-sdk，版本选择2.14.0.230828，下载解压后放入StableDiffusion-cpp/3rd/qnn/2.14.0.230828目录下即可；模型在huggingface上托管，下载地址https://huggingface.co/billlight/XiaoMiStableDiffusionV1.0，下载后放入StableDiffusion-cpp/models/目录下即可。编译需要在x86的交叉编译环境（C8550 SDK）中进行。执行编译脚本后，根目录会生成StableDiffusion_C8550_qnn-2.14.tar.gz。把这个tar包传至C8550 DK，解压后将release/libs目录添加至LD_LIBRARY_PATH，后执行./stablediffusion即可。

提供人信息

如提交有关内容（以下简称为“提交内容”），则表明您向高通公司授予有关以下各项的免费、永久性、非排他性、不受限制、全球范围内的许可：(a)公布、使用、复制、转授、改编、传输、公开执行或展示提交内容；(b)在没有限制条件的情况下使用、复制、修改、改编、发布、翻译、创作衍生作品、分发、执行、演示、托管、提供和发布您的提交内容；(c)向第三方转授无限制的行使针对提交内容所授予的前述任何权利的权利。前述权利应当包括利用提交内容中的任何理念、概念、知识产权、或专有权利的权利，包括但不限于在任何相关司法管辖区内根据著作权、商标、服务标记或专利等法律所享有的权利，同时高通公司无须向您支付任何款项。您声明并保证，您拥有有关提交内容的所有权利、所有权和权益，或您已被授予有关提交内容的充分权利，以确保能够按照前述方式使用提交内容。