在 WoS 上运行 LLaMa

项目目标

LLaMA是一个开源的对话推理模型，通过与用户进行交互式的多轮对话，提供智能的回答和建议。该项目将LLaMA模型移植到WoS平台，希望以此探索其在移动设备上的实际应用潜力，并为用户提供更加便捷和高效的对话体验.

项目说明

该项目构建了一个cli应用程序，在高通WoS平台运行开源模型LLaMA v2-7B，基于qnn进行交互式的多轮对话推理。

所需材料/零部件清单/工具

  • WoS

  • USB Line

  • Charger

高通 C8380DK套件

Type-c 数据线

电源

源代码/源示例/可执行应用程序

  • 源代码

应用效果

额外资源

  • 视频链接

构建/汇编指令

   无需构建，项目以二进制形式发布。Qualla构建文档参考

使用说明

   参考

提供人信息

如提交有关内容（以下简称为“提交内容”），则表明您向高通公司授予有关以下各项的免费、永久性、非排他性、不受限制、全球范围内的许可：(a)公布、使用、复制、转授、改编、传输、公开执行或展示提交内容；(b)在没有限制条件的情况下使用、复制、修改、改编、发布、翻译、创作衍生作品、分发、执行、演示、托管、提供和发布您的提交内容；(c)向第三方转授无限制的行使针对提交内容所授予的前述任何权利的权利。前述权利应当包括利用提交内容中的任何理念、概念、知识产权、或专有权利的权利，包括但不限于在任何相关司法管辖区内根据著作权、商标、服务标记或专利等法律所享有的权利，同时高通公司无须向您支付任何款项。您声明并保证，您拥有有关提交内容的所有权利、所有权和权益，或您已被授予有关提交内容的充分权利，以确保能够按照前述方式使用提交内容。