QCS9075 LE 平台上通过文本生成图像

项目目标

本项目的灵感源于希望让先进的文生图技术在终端设备上变得更加易用且高效。尽管 Stable Diffusion 2.1 以其高质量的生成效果推动了 AI 图像生成的发展，但其巨大的计算开销通常使其只能运行在高性能 GPU 或云端环境中，这对于需要本地、快速生成且不依赖网络连接的用户而言构成了明显障碍。此外，现有的大多数 Stable Diffusion 应用以 GUI 形式存在，对于更偏好轻量化、可脚本化工具、并希望进行批量处理或与其他工作流集成的开发者和高级用户来说，这种形式往往不够灵活。正是 Stable Diffusion 2.1 的潜力与其在终端硬件上可达性之间的这一差距，促成了该 Python 命令行接口（CLI）应用的构建。

为了解决效率方面的挑战，选择 Qualcomm QNN 作为加速方案是一种自然的决定。QNN 能够针对高通硬件对神经网络推理进行优化，使像 Stable Diffusion 2.1 这样的大型模型能够在本地以更高速度、更低功耗运行。CLI 的简洁性与 QNN 的高效加速能力相结合，恰好满足了对实用性强、门槛低的工具的需求，使 AI 图像生成更加贴近实际的终端计算应用场景。

该项目的目标是交付一个轻量级、高性能的 CLI 工具，使 Stable Diffusion 2.1 的文生图能力能够在搭载高通平台的终端设备上被便捷地使用。具体而言，该项目旨在验证：在 QNN 加速的支持下，应用能够在数秒内（标准分辨率下单张图像生成时间低于 5 秒）根据文本提示生成高保真图像，并在性能上优于未经优化的本地实现。除了技术层面的验证外，该工具还希望作为一个灵活的原型，为开发者将文生图能力集成到自动化脚本、批处理流水线或自定义终端侧 AI 应用中提供参考。总体而言，该项目致力于降低先进生成式 AI 在终端硬件上的使用门槛，展示 QNN 在资源受限环境中释放大型扩散模型潜力的能力，并推动更多贴近终端场景的生成式 AI 工具的落地。

项目说明

本项目基于Stable Diffusion2.1实现了一个Python命令行应用程序，用于文本到图像的生成。它可以将文本描述转换为相应的图像，并利用高通QNN加速推理过程，从而在兼容的硬件平台上更高效地进行图像生成。

所需材料/零部件清单/工具

  • TurboX C9100

由提示词“一只小猫正在练习武术”生成

源代码/源示例/可执行应用程序

  • 源代码

应用效果

额外资源

  • 视频链接

Stable-Diffusion-v2.1_text_encoder_w8a16.bin

Stable-Diffusion-v2.1_unet_w8a16.bin

Stable-Diffusion-v2.1_vae_w8a16.bin

构建/汇编指令

1. 按照 https://github.com/ThunderSoft-XA/Stable-diffusion-2.1-deployment-on-QCS9075-LE/tree/master 下文档中的指南，在 QCS9075 或 QCS9100 LE 设备上安装正确的 QAIRT SDK。

2. 在设备上克隆项目

使用说明

运行如下命令行：

python3 sd21_qnn_linux.py --prompt "A kitten is practicing martial arts" --steps 20 --seed 1 --guidance 7.5 --output sd21_qnn.png

提供人信息

如提交有关内容（以下简称为“提交内容”），则表明您向高通公司授予有关以下各项的免费、永久性、非排他性、不受限制、全球范围内的许可：(a)公布、使用、复制、转授、改编、传输、公开执行或展示提交内容；(b)在没有限制条件的情况下使用、复制、修改、改编、发布、翻译、创作衍生作品、分发、执行、演示、托管、提供和发布您的提交内容；(c)向第三方转授无限制的行使针对提交内容所授予的前述任何权利的权利。前述权利应当包括利用提交内容中的任何理念、概念、知识产权、或专有权利的权利，包括但不限于在任何相关司法管辖区内根据著作权、商标、服务标记或专利等法律所享有的权利，同时高通公司无须向您支付任何款项。您声明并保证，您拥有有关提交内容的所有权利、所有权和权益，或您已被授予有关提交内容的充分权利，以确保能够按照前述方式使用提交内容。