项目背景与设计思路

本文目标为实现基于MAX78000的农业病虫害识别检测。

病虫害识别是农业生产中的一大难题，监控农田病虫害情况并及时报警，防患于未然，在小范围农田病虫害发展初期识别并传递信息给农民，及时扼制虫害，是非常有意义的。基于 MAX78000开发板支持 CNN 的特性，本项目实现了病虫害识别与上位机信息发送。

鉴于开发板算力有限，因此推理模型需要一定程度简化。本文认为，将需求简化为识别单一农作物的生长叶片状态，将识别问题转换为二分类问题，可以大幅度降低对板卡的推理算力需求。

MAX78000开发板的官方例程中，参考该类问题给出类似的CNN例程，合并稻瘟病、褐斑病与其他虫害数据，二分类目标为“存在病虫害”与“不存在病虫害”。

本文收集了过去竞赛平台上开源的农业水稻作物数据集，选取了5622张图片用于训练，并借助于ADI官方提供的ai8x工具实现了CNN模型训练、量化等操作，最终成功转化为可以传递给嵌入式设备的格式。基于例程改进C++代码，最终实现了新的图像识别模型在MAX78000设备上的烧写。

程序写入后，按下SW5键，MAX78000自带摄像机会启动，拍摄图像后，在板卡中进行推理，得到可靠的推理结论，然后发送给上位机，通过uart串口可以读出判别结果。笔者认为，本文设计的功能基本证明了MAX78000作为低功耗边缘计算设备的实际应用潜力，本文涉及项目在实际落地过程中仍然有较大改进空间，如增加TFT屏幕、拓展无线收发设备等。

展望未来，本研究所进行病虫害识别研究更多基于软硬件开发进行讨论，并未对识别算法进行调整。本研究所选用的数据集中，部分病虫害叶片与正常叶片的正常枯黄相似度较高，笔者认为，针对此类情况，传统算法的识别能力难以在准确度上有质的提升，建议后续可以从农学专业角度探究不同类型叶片的本质区别，并开展相应的识别算法优化。

项目设计框图

本文亮点

介绍了MAX78000处理图像识别二分类问题时，项目实现的具体细节。

基于已有的例程框架微调实现，基于官方教程文档，实现了环境搭建、数据集获取、训练、量化、评估、C代码合成与修改，并成功在板卡编译。

本文技术细节非常详细，可以完全复现，同时围绕几个点调试探索，与官方文档形成互补：

1. 基于VS Code的开发探讨与环境搭建，编译调试细节，并以中文形式给出。

2. 完全实现了Windows平台下的conda环境python 3.8.7训练，该过程官方文档支持wsl2 下的 ubuntu 22.04 LTS，而本文实现的Windows平台下训练，大幅度简化了开发流程。

3. 本文的量化、评估部分在Windows11预览版平台上成功运行，是基于多种细节不断探索得到的。基于此，本文实现了完全不再依赖于Linux平台的开发。

前期板卡数据学习

支持功能

芯片：双核 Arm Cortex-M 4 Processor with FPU, 100 MHz, RISC-V Coprocessor, 60 MHz
512 KB Flash Memory
128 KB SRAM
16 KB Cache
卷积神经网络加速器
12 位并行摄像头接口
-集成的外设
RGB 指示 LED
用户按键
CMOS VGA 图像传感器低功耗立体声 CODEC
数字麦克风
SWD 调试器虚拟 UART Console
10-Pin Cortex Debug Header for RISC-V Coprocessor
MAX 20303 可穿戴式 PMIC，带电量计从 USB 充电板上 DAPLink 调试和编程接口，用于 Arm Cortex-M 4 处理器的调试面板板兼容的连接器
Micro USB 连接器
Micro SD 卡连接器

电池供电方案

单节锂电池供电，3.5 V 到 4.2 V，或者 USB

环境准备

软件：VS Code；Eclipes（备用）使用 MaximMicrosSDK_win.exe 安装（全部安装），不建议安装百度网盘的资源，因为版本较旧，部分 bug 可能没修复。该方法在国内校园网测试，部分时间段网速较快，峰值 4 MB/S ，多数时段无法下载。安装后，配置 SDK。

• SDK 路径配置方法：https://analog-devices-msdk.github.io/msdk/USERGUIDE/#getting-started-with-visual-studio-code
注意 D:\MaximSDK\Tools\OpenOCD 加入环境变量。主要配置 VS Code ，然后进行使用。

VS Code 使用经验

每修改一次，一定按一下，Ctrl+Shift+P，重新加载改过代码需要 reload，经常链接错文件，不用例程先压缩掉，避免相同文件名。下载不进去，可能是占用或者单片机锁死。每运行一个案例，都应该注意修改这个语句。

    "target":"MAX78000",
    "board":"FTHR_RevA",

全局设置

Ctrl+Shift+P 全局用户配置，里面路径只能用/，不能用 \\，配置内容要写入{}内部写入

    //这是给MAXSIM的MSDK开发板使用的

    "MAXIM_PATH": "S:/MaximSDK/MaximSDK",

    "update.mode": "manual",

    "extensions.autoUpdate": true,

修改完工程 setting 后，应该 Ctrl+Shift+P 后输入 Reload Window，重新打开窗口，修改内容 "board":"FTHR_RevA",因为，官方文档中认为，MAX 78000|EvKit_V1 属于带屏幕的板子。

MAX 78000 EVKIT	MAX 78000	EvKit_V 1
MAX 78000 FTHR	MAX 78000	FTHR_RevA

对 main. C 进行 Ctrl+Shift+B 编译选择 build 内容，编译结果在 .elf 文件，build 文件夹中，然后 Ctrl+Shift+B 选择 flash 内容，如果需要，运行该任务将自动构建项目，闪存程序二进制文件，并停止程序执行以等待调试器连接。

然后 Ctrl+Shift+B 选择 flash 内容，如果需要，运行该任务将自动构建项目，闪存程序二进制文件，并停止程序执行以等待调试器连接。

单片机锁定与解锁

问题：MAX 78000 单片机，正常运行 example 时，跑了一个 CNN 就无法写入了。该问题不少购买者遇到。前置工作：

1. 检查目标设备是否上电并正常运行；

2. 检查连接线路是否牢固连接，或者替换一根新的连接线试试；

3. 关闭其他程序或者调试器，确保目标设备被你所使用的调试器独占；

4. 检查 openocd 的配置文件，确保配置正确。检查均非上述问题，最终判断单片机锁定。

报错内容

以下为烧录时报错。

 *  正在执行任务: arm-none-eabi-gdb --cd="D:\MaximSDK\Examples\MAX 78000\Hello_World" --se="build/Hello_World. Elf" --symbols=build/Hello_World. Elf -x="D:\MaximSDK\Examples\MAX 78000\Hello_World/. Vscode/flash. Gdb" --ex="flash_m 4_run D:/MaximSDK/Tools/OpenOCD cmsis-dap. Cfg max 78000. Cfg" --batch

D:\MaximSDK\Tools\GNUTools\10.3\bin\arm-none-eabi-gdb. Exe: warning: Couldn't determine a path for the index cache directory.
The target architecture is set to "armv 7 e-m".
Open On-Chip Debugger 0.11.0+dev-g 56 a 818 e 4 c (2023-10-09-16:14)
Licensed under GNU GPL v 2
For bug reports, read
        http://openocd.org/doc/doxygen/bugs.html
Remote communication error.  Target disconnected.: No error.

 *  终端进程“C:\WINDOWS\System 32\cmd. Exe /d /c arm-none-eabi-gdb --cd="D:\MaximSDK\Examples\MAX 78000\Hello_World" --se="build/Hello_World. Elf" --symbols=build/Hello_World. Elf -x="D:\MaximSDK\Examples\MAX 78000\Hello_World/. Vscode/flash. Gdb" --ex="flash_m 4_run D:/MaximSDK/Tools/OpenOCD cmsis-dap. Cfg max 78000. Cfg" --batch”已终止，退出代码: 1。

解锁方案

ADI 工程给出的解决方法如下：参考下文文档。

MaximAI_Documentation/MAX78000_Feather/README.md at master · MaximIntegratedAI/MaximAI_Documentation (github.com)，对应解锁教程

断电，按住 SW 5 （是复位键）后通电，进入调试模式。这个位置的文件下载，重置文件 MaximAI_Documentation/MAX78000_Feather/MAX32625PICO_files at master · MaximIntegratedAI/MaximAI_Documentation (github.com)，把这个文件拷贝进去，然后插拔一下然后，新建文本文档，命名 auto_on.cfg，然后会自动重连；然后，新建文本文档，命名 erase.act，然后会自动重连

注意：这一轮操作后，串口从 COM 3 变为 COM 4

调试运行结果

刷入基础例程，实现正常串口收发。

数据集

来源与展示

本文基于kaggle中开源的病虫害分类数据集，链接如下：

https://www.kaggle.com/datasets/nizorogbezuode/rice-leaf-images/data

全量下载并扩充后，共 5622 张图片，数据集充足。

训练时实际分配的数据集为training=4047， validation=449， test=1126。

病虫害存在图片：

病虫害不存在图片：

数据集预处理与存放位置

为了防止报错，本文直接使用原猫狗识别的训练代码进行训练，其中，cats对应正常叶片, dogs对应病虫害叶片。训练集与测试集比例为8：2（官方推荐9：1），利用python中的PIL库“img = img.resize((128, 128))”语句，可以将图片批量转换为128*128格式。需要注意，该开发板最大支持该分辨率，而原数据集分辨率为256*256，因此本项目处理数据集图片是必要的。

原数据集为正常叶片样本与三类病虫害类型，本文探讨分类问题，因此将“三类病虫害类型”合并为“非正常叶片”，本文认为，该步处理是导致收敛效果有限的主要原因。

因此本文直接存储替换路径：

病虫害测试集：S:\condaenv\ai8x-training-develop\data\cats_vs_dogs\test\cats

正常测试集：S:\condaenv\ai8x-training-develop\data\cats_vs_dogs\test\dogs

病虫害训练集：S:\condaenv\ai8x-training-develop\data\cats_vs_dogs\train\cats

正常训练集：S:\condaenv\ai8x-training-develop\data\cats_vs_dogs\train\dogs

为便于复现，本项目提供夸克网盘存储的已加工好的数据集，数据集链接如下：

「MAX78000病虫害数据集.zip」链接：https://pan.quark.cn/s/06e72e6b57f0

提取码：EZQj

训练

分析需求

基于官方给出的训练代码实现训练，只需要提供数据集，因此应该构建与官方教程文件完一致的环境。

MaximIntegratedAI/ai8x-training: Model Training for ADI's MAX78000 and MAX78002 AI Devices (github.com)

用于模型训练的唯一官方支持平台是 Ubuntu Linux 20.04 LTS 和 22.04 LTS（amd64/x86_64），PyTorch 的官方支持版本是在 Python 3.8.x 上运行的 1.8.1 (LTS)。

安装 CUDA

本项目所用3060显卡最高支持12.3，安装版本为11.5，推荐训练环境对应版本为11。系统环境如下：

安装参考的链接为Windows下安装CUDA并配置cuDNN教程_cuda安装_这也太南了趴的博客-CSDN博客

由于CUDA安装较为复杂且上述链接较为详尽，不再展开。本项目训练前安装了CUDA。

Conda环境配置

$ git clone --recursive https://github.com/MaximIntegratedAI/ai8x-training.git

$ git clone --recursive https://github.com/MaximIntegratedAI/ai8x-synthesis.git

基于python3.8.7

然后激活环境

python -m venv venv --prompt ai8x-training

环境安装，在Windows的conda环境下，使用：

pip3 install -r requirements-win-cu11.txt

模型训练调试

Conda训练

参考：MaximAI_Documentation/Guides/Making Your Own Audio and Image Classification Application Using Keyword Spotting and Cats-vs-Dogs.md at master · MaximIntegratedAI/MaximAI_Documentation (github.com)

首先激活环境，

conda activate python38112

移动到目标位置，

cd S:\condaenv\ai8x-training-develop

查看这个位置的 S:\condaenv\ai8x-training-develop\scripts的evaluate_catsdogs.sh 文件。

内部代码为命令行执行

#!/bin/sh

python train.py --epochs 200 --optimizer Adam --lr 0.001 --wd 0 --deterministic --compress policies/schedule-catsdogs.yaml --qat-policy policies/qat_policy_cd.yaml --model ai85cdnet --dataset cats_vs_dogs --confusion --param-hist --embedding --device MAX78000 "$@"

所以为了便捷，本文直接在ai8x目录下的命令行执行以下命令：

python train.py --epochs 200 --optimizer Adam --lr 0.001 --wd 0 --deterministic --compress policies/schedule-catsdogs.yaml --qat-policy policies/qat_policy_cd.yaml --model ai85cdnet --dataset cats_vs_dogs --confusion --param-hist --embedding --device MAX78000

由于3060卡显存较低，且笔记本是16G内存，租云服务器有成本，因此本文首先扩大conda所在硬盘提供的虚拟内存解决内存低的问题，降低batch size解决显存不够问题。

经过测试，在256*256分辨率图片数据集下，只能运行batch-size 32，而压缩到128*128分辨率可以运行batch-size 32，但是运行中可能内存不够，比如硬件消耗波动，打开浏览器等瞬时消耗，会导致训练崩掉，所以选择batch-size 32。最终执行训练的命令如下：

python train.py --epochs 200 --optimizer Adam --lr 0.001 --wd 0 --deterministic --compress policies/schedule-catsdogs.yaml --qat-policy policies/qat_policy_cd.yaml --model ai85cdnet --dataset cats_vs_dogs --confusion --param-hist --embedding --device MAX78000 --batch-size 32

经过5小时训练，最终完成：

量化

首先从网上拉取量化所需文件，https://github.com/MaximIntegratedAI/ai8x-synthesis 。

仍然在conda环境中运行，前文训练过程得到的qat_best.pth.tar文件，位于S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522。

激活环境

conda activate python38112

切换到安装目录

cd S:\condaenv\ai8x-synthesis-develop

配置环境

pip install -r requirements.txt

在命令行运行如下内容，以在目标路径中生成量化检查点 qat_best-q.pth.tar。

python quantize.py S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522/qat_best.pth.tar S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522/qat_best-q.pth.tar --device MAX78000

量化完成：

评估

切换回原训练代码的路径。

cd S:\condaenv\ai8x-training-develop

打开评估sh文件有如下代码：

python train.py --model ai85cdnet --dataset cats_vs_dogs --confusion --evaluate --exp-load-weights-from S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522/qat_best-q.pth.tar -8 --device MAX78000

bug解决

在该步骤中，首先报错：

RuntimeError: Unable to find a valid cuDNN algorithm to run convolution

这是因为我们使用的Windows平台下的conda环境，而cudnn对该平台运行中pytorch调用支持得非常差，所以我们在“S:\condaenv\ai8x-training-develop\ train.py”中禁用cudnn，加入语句“torch.backends.cudnn.enabled = False”即可禁用。

然后遇到显存不足的问题，主要原因还是本文所有机器开启独显直连，且win11下启动，所以可以给torch调用的显存有限。建议如果对显存有更高需求的项目使用linux独立系统进行开发。

RuntimeError: CUDA out of memory. Tried to allocate 256.00 MiB (GPU 0; 6.00 GiB total capacity; 304.24 MiB already allocated; 4.05 GiB free; 306.00 MiB reserved in total by PyTorch)

解决内存不足，最终命令行代码如下：

python train.py --model ai85cdnet --dataset cats_vs_dogs --confusion --evaluate --exp-load-weights-from S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522/qat_best-q.pth.tar -8 --device MAX78000 --batch-size 32

评估结果图

C代码创建

示例数据集创建

继续运行代码，后面添加“--save-sample”加数字，这个数字应该小于（不能等于）前文调用的batch size，生成示例数据集，与train.py目录相同，为了方便不再改名（原文件名sample_cats_vs_dogs.npy），拷贝到S:\condaenv\ai8x-synthesis-develop\tests。

python train.py --model ai85cdnet --dataset cats_vs_dogs --confusion --evaluate --exp-load-weights-from S:\condaenv\ai8x-training-develop\logs\2023.11.26-171522/qat_best-q.pth.tar -8 --device MAX78000 --batch-size 32 --save-sample 31

Yaml创建

复制 S:\condaenv\ai8x-synthesis-develop\networks\cats-dogs-hwc.yaml，使模型和数据集进行更新。

C代码生成

S:/condaenv/ai8x-synthesis-develop ai8x-synthesis/scripts/gen_catsdogs_max78000.sh

文件内容如下：

#!/bin/sh
DEVICE="MAX78000"
TARGET="sdk/Examples/$DEVICE/CNN"
COMMON_ARGS="--device $DEVICE --timer 0 --display-checkpoint --verbose"
python ai8xize.py --test-dir $TARGET --prefix cats-dogs --checkpoint-file trained/ai85-catsdogs-qat8-q.pth.tar --config-file networks/cats-dogs-hwc.yaml --fifo --softmax $COMMON_ARGS "$@"

首先在S:\condaenv\ai8x-synthesis-develop\tests文件夹内，替换sample_cats_vs_dogs.npy为之前根据已有数据集生成的示例数据集；

然后在S:\condaenv\ai8x-synthesis-develop\trained 文件夹内，替换ai85-catsdogs-qat8-q.pth.tar为本文训练的检查点文件；

在S:\condaenv\ai8x-synthesis-develop\networks文件夹内，替换cats-dogs-hwc.yaml文件。

接下来对比本轮代码生成所用文件与原文件：

conda activate python38112

cd S:\condaenv\ai8x-synthesis-develop\

最终生成代码所用的命令行

python ai8xize.py --test-dir sdk/Examples/MAX78000/CNN --prefix cats-dogs --checkpoint-file trained/ai85-catsdogs-qat8-q.pth.tar --config-file networks/cats-dogs-hwc.yaml --fifo --softmax --device MAX78000 --timer 0 --display-checkpoint --verbose

最终生成文件。

C代码修改

引入训练后文件

基于例程 cat_vs_dog 创建项目，微调部分代码。

The code uses a sampledata header (sampledata.h) file to test a pre-defined input sample.

把前文训练、量化后得到的 c++文件拷贝到新创建的项目中，前文曾经强调，为了减少报错概率，训练集等所有命名，与猫狗识别项目命名保持一致。与猫狗识别demo相比，前文生成的C代码差别主要体现在，如下文件：

cnn.c

cnn.h

sampledata.h

sampleoutput.h

softmax.c

weights.h

关闭TFT输出

由于没有购置TFT显示器，注释相关功能

* * To _disable_ the TFT display code, comment out `PROJ_CFLAGS += -DTFT_ENABLE` in [project.mk](project.mk)

 

    ```Makefile

    ifeq "$(BOARD)" "EvKit_V1"

    # PROJ_CFLAGS+=-DTFT_ENABLE

    IPATH += TFT/evkit/

    VPATH += TFT/evkit/

    endif

    ```

VS Code编译修改

在项目——.vscode——setting.json修改以下语句，因为原来默认的不是羽毛板。

&nbsp; &nbsp; "target":"MAX78000",

&nbsp; &nbsp; "board":"FTHR_RevA",

然后先刷新，Ctrl + Shift + P，一定要重新载入窗口。

烧写与运行情况

编译

注意编译前确认，路径不能有中文。

编译，Ctrl + Shift + B，Build。程序正常运行。

烧写

Ctrl + Shift + B，然后 Flash&run

注意烧写时关闭VOFA+的连接，否则会报错，报错内容如下：

*  终端进程“C:\WINDOWS\System32\cmd.exe /d /c arm-none-eabi-gdb --cd="D:\01FileinScience\AIboard\crop_if_demo_end" --se="build/crop_if_demo_end.elf" --symbols=build/crop_if_demo_end.elf -x="D:\01FileinScience\AIboard\crop_if_demo_end/.vscode/flash.gdb" --ex="flash_m4_run D:/MaximSDK/Tools/OpenOCD cmsis-dap.cfg max78000.cfg" --batch”已终止，退出代码: 1。

正常烧写完成的界面如下：

调试运行

我们使用VOFA+ 1.3.10作为串口调试工具，波特率设置115200，其他设置8-1-N-N。

调试工具地址：https://www.vofa.plus/

调试结果：

病虫害图片识别结果：

正常叶片图片识别结果：

可以看到识别效果可以接受，具体运行细节可以观看bilibili视频。至此，本项目实现了预期目标，项目完成。感谢活动主办方给予的支持。