Qwen2.5-7B 在 IQ-9075 EVK 上的演示

项目目标

本项目受到现代智慧农业中显著短板的启发。当前农业系统虽然配备了自动化传感器监测，但大多依赖被动的数据记录和基于云端的分析。由于缺乏本地边缘 AI 决策能力，这些系统无法为温室微气候控制提供实时、离线的智能指导。云端方案还存在延迟、农村网络连接不稳定以及隐私风险等问题，人工数据监管又容易导致对温湿度骤变的响应滞后，从而造成不可逆的作物损失。为解决这些实际痛点，我开发了一款完全在设备端具备智能能力的轻量级边缘 AI 农业助手。

该系统部署在高通跃龙 IQ-9075（Dragonwing IQ-9075 EVK）上。凭借其 Hexagon v73 NPU 和 32 GB 内存，Qwen2.5-7B-Instruct 大语言模型通过 QAIRT SDK 和 Genie 运行时优化完全本地化部署，实现了稳定的设备端推理性能。在技术上，该系统集成了 SQLite FTS5 全文检索来构建本地农业知识库，在大语言模型推理过程中实时检索专业领域文档，将离线农业专业知识与实时 Modbus TCP 传感器数据相结合，生成准确、适配田间环境的建议。它还支持基于触发条件的主动预警，在检测到极端高温或低温时自主推送作物保护建议。

我期望本项目在技术验证、农业实际赋能和生态示范三个方面取得成果。在技术上，它验证了生产级 7B 大语言模型可以通过 w8a16 量化和量化感知编译，在中端边缘硬件上稳定运行，在 4096 token 上下文窗口内于 40 秒内给出合格响应；并构建了一套完整、可复制的边缘大语言模型部署流水线，供行业参考。

在实际应用层面，该系统连接了农业物联网基础设施与可执行的智能决策。农户可以通过自然语言查询获得专业的温室调控指导，而全天候主动告警系统则有效避免了因人工响应滞后造成的作物损失。此外，通过开源包含 C++ 推理服务和 FastAPI Web 应用在内的完整技术流水线，本项目降低了边缘 AI 开发的门槛，推动了设备端智能农业应用的创新。

项目说明

本项目实现了一个 Web 应用，它从 Modbus TCP 传感器读取实时温湿度，提供通过 Web 界面提供由大语言模型驱动的农业咨询，并在环境条件变得极端时触发主动告警。

所需材料/零部件清单/工具

  •  Qualcomm Dragonwing IQ-9075 EVK

源代码/源示例/可执行应用程序

  • 源代码

应用效果

额外资源

  • 预量化的 Qwen2.5-7B 模型

构建/组装说明

请按照以下指南操作：

1.https://github.com/ThunderSoft-XA/Edge-AI-agriculture-assistant/blob/master/README.md

2.https://github.com/ThunderSoft-XA/Edge-AI-agriculture-assistant/blob/master/workspace-Qwen2.5-7b-instruct/doc/SETUP-GUIDE.md

3.https://github.com/ThunderSoft-XA/Edge-AI-agriculture-assistant/blob/master/app/README.md

4.https://github.com/ThunderSoft-XA/Edge-AI-agriculture-assistant/blob/master/app/inference-service/README.md

使用说明

1. 按照以下链接设置设备与环境：https://github.com/ThunderSoft-XA/Edge-AI-agriculture-assistant/blob/master/app/README.md

2. 通过 Web 访问 http://ubuntu.local:8080（如果设备没有 mDNS，可以用设备的 IP 替代 “ubuntu.local”）。

3. 在网页的聊天窗口中提问

贡献者信息

中科创达

通过提交你的内容（以下简称“提交内容”），你授予 Qualcomm 一项免版税、永久、非独占、不受限制、全球范围内的许可，许可内容包括：(a) 发布、使用、复制、分许可、改编、传输、公开表演或展示任何此类提交内容；(b) 不受限制地使用、复制、修改、改编、发布、翻译、创作衍生作品、分发、表演、播放、托管、传播、提供和发布你的提交内容；以及 (c) 向第三方分许可不受限制地行使就提交内容所授予的上述任何权利。上述授权应包括利用此类提交内容中任何想法、概念、知识产权或专有权利的权利，包括但不限于任何相关司法管辖区版权法、商标法、服务标记法或专利法项下的权利，Qualcomm 无需向你支付任何款项。你声明并保证，你对提交内容拥有全部权利、所有权和权益，或已获得对提交内容行使上述使用的充分权利。