本文档依据毕业论文《AI 视觉机械臂》，并结合本仓库中的 Maixcam 与 Project 代码工程整理，用于说明系统分层、主流程步骤及所需技术栈。

https://github.com/pieceofApple/AI-vision-robotic-arm.git

1. 项目定位与目标

• 定位：基于边缘计算的「视觉感知 + 机械臂执行」一体化平台，在成本可控前提下实现物体识别、目标定位与抓取类任务。
• 论文方案：Maixcam（视觉与 AI 推理） + ESP32（运动控制与中继） + 4 轴机械臂（5 路 PWM 舵机驱动），视觉与控制器之间采用 UDP 实时通信。
• 核心链路：单目图像 → 目标检测 → 像素坐标到棋盘格世界坐标（透视变换）→ 将 ((x,y,z)) 等指令下发 ESP32 → 逆运动学 解算关节角 → PWM 驱动舵机；辅以梯形速度规划、线性插值轨迹以平滑运动。

2. 总体架构（三层）

层次	职责	论文对应	本仓库代码参考
感知层	采集图像、畸变校正、棋盘格角点、YOLO 检测、世界坐标换算	第三章 3.2	Project/Maixcam/main.py、Maixcam/纸团-demo/main.py
通信层	Maixcam ESP32 的 UDP 文本指令（如坐标、rst、stop 等）	3.1.3	main.py 中 udp_communication；ESP 端 WiFiUDP
执行层	逆运动学、工作空间校验、轨迹/速度规划、5 路 PWM	3.3	Project/robot_arm_5PWM/robot_arm_5PWM.ino

说明：论文中视觉侧强调将训练好的 YOLOv5s 转为 int8 / cvimodel 以适配 TPU；当前工程中的在线推理多采用 Maix 官方 nn.YOLOv5 + .mud 模型（MaixHub 部署路径），原理一致，均为边缘侧 YOLO 推理。仓库 Maixcam/模型文件/ 下另有 YOLO11 OBB 等 .mud，可用于旋转框等扩展场景，与论文正文以 v5s 为主略有差异，选型时以实际任务为准。

3. 硬件框架

• Maixcam：GC4653 摄像头、Wi‑Fi/蓝牙；算力侧含 NPU（论文中用于加速 YOLO）。
• ESP32：连接同一局域网，监听 UDP；运行逆运动学与 PWM 输出。
• 机械臂：论文为 4 轴结构、5 路 PWM（多一路如夹爪）；臂长参数见论文表 4.1（如 P、A1～A4），与 robot_arm_5PWM.ino 中宏定义一致。
• 标定场地：棋盘格（论文示例 6×8 格、中心为原点）；摄像头置于棋盘上方，视野覆盖工作区。

4. 软件模块与目录对应

5. 主流程步骤（建议实施顺序）

5.1 研发与标定阶段

1. 数据集与训练（PC）：按论文构建场景数据（如小纸团），用 YOLOv5s 训练；再按 Sophgo / Maix 工具链 导出为设备可用的 int8（论文）或按 Maix 流程导出 .mud（工程现状）。
2. PC 相机标定（可选但推荐）：用棋盘格求内参与畸变，与端上 lens_corr 或粗略校正配合；参考 PC_cv2/ 与论文 2.3、3.2.1。
3. 部署模型到 Maixcam：将模型放到设备约定路径（如 main.py 中的 nn.YOLOv5(model=...)）。

5.2 运行阶段（端侧闭环）

1. 初始化：摄像头分辨率与模型输入一致；启动 目标检测线程 与 UDP 线程（threading）。
2. 每帧视觉：
   • 读图 → lens_corr；
   • 转 OpenCV 灰度 → findChessboardCorners + cornerSubPix；
   • 成功则计算世界四角与图像四角 → 透视矩阵 M（异常时用上一帧 last_M 兜底）；
   • YOLO 检测 → 目标中心像素坐标 → cv2.perspectiveTransform（配合 (M^{-1})）得到 世界坐标 (cm 级)。
3. 通信：ESP32 侧按协议发请求或接收指令；Maixcam 将 x,y,z,flag 或论文表 3.1 所列格式发往 ESP32（具体字符串以固件解析为准）。
4. 执行：ESP32 逆运动学 → 关节角 → 梯形规划 + 线性插值 → PWM；完成抓取/放置/复位等状态切换。

5.3 联调与测试

• 论文第四章：检测准确率、坐标映射误差、实时性、重复定位、整机拾放等；环境为稳定 Wi‑Fi、统一光照与棋盘摆放。

6. 技术栈汇总

7.小结

本项目在论文层面是 「Maixcam 边缘视觉 + ESP32 实时控制 + 单目透视定位」 的完整闭环；在仓库层面，Project/Maixcam/main.py 与 Project/robot_arm_5PWM/robot_arm_5PWM.ino 分别对应感知通信与执行两大核心，Maixcam/纸团-demo 用于快速验证检测模型，PC_cv2 与 论文代码 支撑标定与坐标映射开发。实施时以论文第三章、第四章为理论依据，以当前工程中的 IP、端口、指令字符串和模型路径为运行配置依据。

8.演示视频

该项目采用TANG NANO 9K（GW1NR-9）实现，最大采样率为27MHz，采样深度48K。（勉强能用，其实PLL倍频输出下也能达到GW1NR-9的工作频率上限125M）。

移植难度： 纯verilog

Gitlab代码地址：pieceofApple/GW1NR-9_Logicanalyzer: 该项目采用TANG NANO 9K（GW1NR-9）实现，最大采样率为27MHz，采样深度48K。

注意：经过多次测试，如通过FPGA接收RX再连接至RX-EXT输出，将RX-EXT连接至采样通道无法采样数据，但外部串口直接接到CH通道可以正常采样。故尽量避免FPGA内部输出信号到采样通道采样！

系统概述

硬件规格

• FPGA: TANG NANO 9K (GW1NR-LV9QN88PC6/I5)
• 系统时钟: 27MHz
• 采样通道: 8通道 (CH0-CH7)
• 缓冲区大小: 48KB (49152字节)
• 最大采样率: 27MHz
• 通信接口: UART (115200波特率, 8N1)
• 默认采样率: 100kHz

功能特性

• 8通道逻辑信号采样
• 可配置采样率（10kHz – 27MHz）
• 8种触发模式（立即、边沿、电平、模式、序列）
• 预触发功能（捕获触发前的数据）
• 可配置频率输出（用于测试信号生成）
• 可配置占空比（0-100%）
• 实时波形显示和分析
• 频率和占空比测量
• PulseView支持（VCD/CSV导出）

硬件引脚配置

引脚分配表

引脚说明

UART接口

• 引脚17 (uart_tx): 板载Type-C UART发送，连接到PC
• 引脚18 (uart_rx): 板载Type-C UART接收，接收PC命令
• 引脚33 (uart_tx_ext): 外部UART发送，与引脚17同步输出相同数据
• 引脚34 (uart_rx_ext): RX信号输出，实时输出引脚18的信号（与RX同步）
  • 可用于示波器测量
  • 可连接到逻辑分析仪输入通道（如CH2）进行采样
  • 支持外部串口设备直接连接进行数据采样

逻辑分析仪输入

• 引脚25-32 (CH0-CH7): 8个逻辑分析仪输入通道
• CH0-CH2 (引脚25-27): 无内部上拉，适合采样外部信号（如RX_EXT输出）
• CH3-CH7 (引脚28-32): 带内部上拉电阻（PULL_MODE=UP）
• 所有输入引脚配置为3.3V LVCMOS
• 支持0-3.3V逻辑电平输入

状态指示LED

• LED0 (引脚10): 状态指示位0
• LED1 (引脚11): 状态指示位1
• LED2 (引脚13): 状态指示位2

LED状态编码：

• 000 (IDLE): 全灭
• 001 (CONFIG): LED0亮
• 010 (ARM): LED1亮
• 011 (SAMPLING): LED0+LED1亮
• 100 (READY): LED2亮
• 101 (TRANSMIT): LED0+LED2亮
• 110 (SET_FREQ): LED1+LED2亮

功能特性

1. 采样功能

• 8通道同步采样: 同时采样8个通道的逻辑信号
• 可配置采样率: 10kHz – 27MHz（通过分频比配置）
• 48KB缓冲区: 可存储49152个采样点
• 自动传输: 采样完成后自动通过UART发送数据

通道配置说明:

• CH0-CH2 (引脚25-27): 无内部上拉电阻，适合采样外部信号源
  • 推荐用于：外部串口信号（RX_EXT）、频率输出（freq_out）、其他外部数字信号
  • 优点：无上拉电阻干扰，能准确采样外部信号电平
• CH3-CH7 (引脚28-32): 带内部上拉电阻（PULL_MODE=UP）
  • 推荐用于：需要上拉的信号、按键输入、开漏输出等
  • 优点：悬空时为高电平，适合需要上拉的场景

2. 触发功能

支持8种触发模式：

触发参数：

• 触发通道掩码: 选择哪些通道参与触发（8位，1=启用）
• 触发模式1: 用于模式触发和序列触发的第一阶段
• 触发模式2: 用于序列触发的第二阶段
• 预触发采样: 在触发前采样指定数量的样本

3. 频率输出功能

• 可配置频率: 1Hz – 10MHz（通过分频比配置）
• 可配置占空比: 0-100%
• 输出引脚: 引脚84 (freq_out)

4. 数据分析功能

• 频率测量: 自动计算信号频率
• 占空比测量: 自动计算信号占空比
• 波形显示: 实时显示8通道波形
• 数据导出: 支持VCD和CSV格式导出

UART命令格式

命令列表

命令详细格式

CMD_SET_FREQ (0x06) – 设置频率输出

数据格式: 4字节，小端序（Little-Endian）

[字节0] 分频比低字节
[字节1] 分频比次低字节
[字节2] 分频比次高字节
[字节3] 分频比高字节

计算公式:

• 分频比 = 27MHz / 目标频率
• 实际频率 = 27MHz / 分频比

示例: 设置10kHz频率

• 分频比 = 27,000,000 / 10,000 = 2700
• 发送: 0x06 0xAC 0x0A 0x00 0x00 (2700 = 0x00000AAC)

CMD_SET_SAMPLE_RATE (0x07) – 设置采样率

数据格式: 4字节，小端序

[字节0] 分频比低字节
[字节1] 分频比次低字节
[字节2] 分频比次高字节
[字节3] 分频比高字节

计算公式:

• 分频比 = 27MHz / 目标采样率
• 实际采样率 = 27MHz / 分频比

示例: 设置1MHz采样率

• 分频比 = 27,000,000 / 1,000,000 = 27
• 发送: 0x07 0x1B 0x00 0x00 0x00 (27 = 0x0000001B)

CMD_SET_DUTY (0x08) – 设置占空比

数据格式: 4字节，小端序

[字节0] 高电平周期数低字节
[字节1] 高电平周期数次低字节
[字节2] 高电平周期数次高字节
[字节3] 高电平周期数高字节

注意: 必须先设置频率，再设置占空比

CMD_SET_TRIGGER (0x09) – 设置触发配置

数据格式: 6字节

[字节0] 触发类型 (0-7)
[字节1] 触发通道掩码 (8位，1=启用该通道)
[字节2] 触发模式1 (用于模式触发和序列触发)
[字节3] 触发模式2 (用于序列触发的第二阶段)
[字节4] 预触发数量低字节
[字节5] 预触发数量高字节

触发类型:

• 0x00: 立即触发
• 0x01: 上升沿触发
• 0x02: 下降沿触发
• 0x03: 双边沿触发
• 0x04: 高电平触发
• 0x05: 低电平触发
• 0x06: 模式触发
• 0x07: 序列触发

示例: 设置上升沿触发（CH0），预触发1000个样本

• 发送: 0x09 0x01 0x01 0x00 0x00 0xE8 0x03
  • 0x01: 上升沿触发
  • 0x01: 仅CH0启用 (0x01 = 00000001)
  • 0x00: 触发模式1（不使用）
  • 0x00: 触发模式2（不使用）
  • 0xE8 0x03: 预触发1000 (0x03E8 = 1000)

快速开始

1. 环境准备

硬件要求:

• TANG NANO 9K FPGA开发板
• USB Type-C数据线
• 待测信号源（可选）

软件要求:

• Python 3.7+
• 串口驱动（通常自动安装）
• matplotlib（用于波形显示）
• PulseView（可选，用于高级分析）

安装Python依赖:

pip install pyserial matplotlib

2. 基本使用

最简单的使用方式:

python examples/read_data.py COM11

这将：

1. 连接到FPGA（COM11）
2. 使用默认采样率（100kHz）
3. 立即开始采样
4. 自动接收数据
5. 显示波形和分析结果

3. 外部串口使用

使用外部串口设备进行采样:

本逻辑分析仪支持通过外部串口设备发送数据，并通过RX_EXT引脚输出，然后连接到逻辑分析仪输入通道进行采样。

连接方式:

1. 将外部串口设备的TX连接到FPGA的RX（引脚18）
2. 将FPGA的RX_EXT（引脚34）连接到逻辑分析仪输入通道（如CH2，引脚27）
3. 外部串口设备发送的数据会被FPGA接收，同时通过RX_EXT输出
4. 逻辑分析仪可以采样RX_EXT输出的信号

使用示例:

# 设置采样率为1MHz，显示采样率为500kHz，占空比0.8，导出CSV
python examples/read_data.py COM11 --sample-rate 1M --display-rate 500k --duty 0.8 --export-csv

注意事项:

• 确保外部串口设备的波特率与FPGA UART配置一致（115200 bps）
• 采样率应足够高，建议至少是信号频率的5-10倍
• CH0-CH2通道无内部上拉，适合采样外部信号

4. 常用命令示例

设置采样率为1MHz:

python examples/read_data.py COM11 --sample-rate 1M

上升沿触发（CH0）:

python examples/read_data.py COM11 --trigger rising --trigger-mask 0x01

模式触发（匹配0x55）:

python examples/read_data.py COM11 --trigger pattern --trigger-pattern 0x55

导出为VCD格式（PulseView）:

python examples/read_data.py COM11 --export-vcd

完整示例（采样率+触发+导出）:

python examples/read_data.py COM11 --sample-rate 1M --trigger rising --trigger-mask 0x01 --pre-trigger 1000 --export-vcd

触发功能

触发模式详解

1. 立即触发 (immediate)

说明: 无触发条件，发送开始命令后立即开始采样

使用场景:

• 需要捕获所有数据
• 不需要等待特定条件

示例:

python examples/read_data.py COM11 --trigger immediate

2. 上升沿触发 (rising)

说明: 检测到上升沿（0→1）时触发

使用场景:

• 捕获信号启动时的数据
• 分析上升沿后的信号变化

示例:

# CH0上升沿触发
python examples/read_data.py COM11 --trigger rising --trigger-mask 0x01

# 所有通道上升沿触发
python examples/read_data.py COM11 --trigger rising --trigger-mask 0xFF

3. 下降沿触发 (falling)

说明: 检测到下降沿（1→0）时触发

使用场景:

• 捕获信号停止时的数据
• 分析下降沿后的信号变化

示例:

python examples/read_data.py COM11 --trigger falling --trigger-mask 0x01

4. 双边沿触发 (both)

说明: 检测到任意边沿（上升或下降）时触发

使用场景:

• 捕获信号变化时的数据
• 分析边沿前后的信号

示例:

python examples/read_data.py COM11 --trigger both --trigger-mask 0x01

5. 高电平触发 (high)

说明: 检测到高电平时触发

使用场景:

• 捕获高电平期间的数据
• 分析高电平状态

示例:

python examples/read_data.py COM11 --trigger high --trigger-mask 0x01

6. 低电平触发 (low)

说明: 检测到低电平时触发

使用场景:

• 捕获低电平期间的数据
• 分析低电平状态

示例:

python examples/read_data.py COM11 --trigger low --trigger-mask 0x01

7. 模式触发 (pattern)

说明: 数据匹配指定模式时触发

使用场景:

• 捕获特定数据模式
• 分析特定数据序列

示例:

# 匹配0x55模式（01010101）
python examples/read_data.py COM11 --trigger pattern --trigger-pattern 0x55

# 仅CH0-CH3匹配0x05
python examples/read_data.py COM11 --trigger pattern --trigger-mask 0x0F --trigger-pattern 0x05

8. 序列触发 (sequence)

说明: 先匹配模式1，再匹配模式2时触发

使用场景:

• 捕获特定数据序列
• 分析复杂的数据模式

示例:

# 先匹配0x55，再匹配0xAA
python examples/read_data.py COM11 --trigger sequence --trigger-pattern 0x55 --trigger-pattern2 0xAA

预触发功能

说明: 在触发条件满足前，先采样指定数量的样本

使用场景:

• 捕获触发前的数据
• 分析触发前后的完整波形

示例:

# 上升沿触发，预触发1000个样本
python examples/read_data.py COM11 --trigger rising --pre-trigger 1000

工作原理:

1. 系统进入ARM状态，等待触发
2. 持续采样数据到缓冲区（循环覆盖）
3. 检测到触发条件时，继续采样预触发数量的样本
4. 然后开始正常采样，直到缓冲区满

注意事项:

• 预触发数量不能超过缓冲区大小（49152）
• 建议预触发数量 < 10000，以确保有足够空间存储触发后的数据

PulseView支持

什么是PulseView？

PulseView是一个开源的逻辑分析仪软件，支持多种硬件和文件格式。本逻辑分析仪支持导出VCD和CSV格式，可以在PulseView中打开和分析。

导出格式

1. VCD格式 (Value Change Dump)

特点:

• 标准格式，广泛支持
• 包含时间信息
• 适合波形分析

导出方法:

python examples/read_data.py COM11 --export-vcd

输出文件: logic_analyzer_data.vcd

2. CSV格式 (Comma-Separated Values)

特点:

• 易于处理和分析
• 可以用Excel打开
• 适合数据分析

导出方法:

python examples/read_data.py COM11 --export-csv

输出文件: logic_analyzer_data.csv

在PulseView中打开

方法1: 直接打开VCD文件

1. 启动PulseView
2. 选择 File → Open
3. 选择 logic_analyzer_data.vcd
4. 波形将自动加载

方法2: 导入CSV文件

1. 启动PulseView
2. 选择 File → Import
3. 选择 CSV 格式
4. 选择 logic_analyzer_data.csv
5. 配置导入参数（采样率、通道数等）

PulseView高级功能

协议解码

PulseView支持多种协议解码：

• UART
• SPI
• I2C
• 1-Wire
• 等等

使用方法:

1. 在PulseView中打开VCD文件
2. 选择信号
3. 右键 → Add Decoder → 选择协议
4. 配置协议参数（波特率、数据位等）

测量和分析

• 时间测量: 测量信号周期、脉宽等
• 频率分析: 分析信号频率
• 统计信息: 统计高/低电平时间
• 搜索功能: 搜索特定模式

高级功能

1. 频率输出配置

设置频率输出:

python examples/read_data.py COM11 --freq 10000

设置频率和占空比:

python examples/read_data.py COM11 --freq 10000 --duty 50

频率范围: 1Hz – 10MHz

占空比范围: 0-100%

2. 采样率配置

预设采样率:

• 27M: 27MHz（最大）
• 13.5M: 13.5MHz
• 9M: 9MHz
• 6.75M: 6.75MHz
• 5.4M: 5.4MHz
• 1M: 1MHz
• 500k: 500kHz
• 100k: 100kHz（默认）
• 50k: 50kHz
• 10k: 10kHz
• 1k: 1kHz

使用示例:

# 使用预设值
python examples/read_data.py COM11 --sample-rate 1M

# 使用自定义值
python examples/read_data.py COM11 --sample-rate 500000

3. 显示采样率

说明: 用于计算和显示的采样率（不影响FPGA硬件采样率）

使用场景:

• FPGA采样率与显示采样率不同时
• 需要调整显示时间轴时

示例:

python examples/read_data.py COM11 --sample-rate 1M --display-rate 500k

4. 命令行选项完整列表

python examples/read_data.py <COM端口> [选项]

选项:
  --no-plot        不显示波形图
  --save           保存原始数据到文件 (.bin)
  --export-vcd     导出为 VCD 格式（PulseView 支持）
  --export-csv     导出为 CSV 格式（PulseView 支持）
  --stop           手动停止采样（否则等待缓冲区满）
  --freq <Hz>      设置频率输出（在采样前）
  --duty <值>      设置占空比（在采样前，需要先设置频率）
  --sample-rate <Hz>   设置FPGA硬件采样率
  --display-rate <Hz>  指定显示用采样率（仅用于计算和显示）
  --trigger <类型>     设置触发类型
  --trigger-mask <值>  触发通道掩码（十六进制）
  --trigger-pattern <值>  触发模式1（十六进制）
  --trigger-pattern2 <值> 触发模式2（十六进制）
  --pre-trigger <数量>   预触发采样数量

常见问题

Q1: 无法连接到FPGA

可能原因:

1. 串口号错误
2. 串口被其他程序占用
3. USB驱动未安装

解决方法:

1. 检查设备管理器中的串口号
2. 关闭其他可能占用串口的程序
3. 重新安装USB驱动

Q2: 采样数据不正确

可能原因:

1. 采样率设置过低
2. 信号频率过高
3. 通道连接问题
4. 通道上拉电阻影响（CH3-CH7有上拉，CH0-CH2无上拉）

解决方法:

1. 提高采样率（至少是信号频率的5-10倍）
2. 检查信号连接
3. 使用示波器验证信号
4. 对于外部信号采样，建议使用CH0-CH2（无上拉电阻）
5. 对于需要上拉的信号，使用CH3-CH7

Q3: 触发功能不工作

可能原因:

1. 触发条件不满足
2. 触发通道掩码设置错误
3. 信号状态不符合触发条件

解决方法:

1. 检查信号状态是否满足触发条件
2. 确认触发通道掩码正确
3. 使用立即触发模式测试

Q4: 频率测量不准确

可能原因:

1. 采样率设置不正确
2. 信号边沿不够清晰
3. 信号频率过高

解决方法:

1. 确保采样率至少是信号频率的10倍
2. 检查信号质量
3. 使用更高的采样率

Q5: PulseView无法打开VCD文件

可能原因:

1. 文件格式错误
2. PulseView版本过旧
3. 文件损坏

解决方法:

1. 重新导出VCD文件
2. 更新PulseView到最新版本
3. 检查文件是否完整

技术规格

性能参数

资源使用

• BRAM: ~48KB (用于数据缓冲区)
• LUT: 根据配置变化
• FF: 根据配置变化

更新日志

v1.0 (当前版本)

• 8通道逻辑分析仪
• 可配置采样率（10kHz – 27MHz）
• 8种触发模式
• 预触发功能
• 频率输出和占空比配置
• PulseView支持（VCD/CSV导出）
• RX/RX_EXT同步输出
• 外部串口数据采样支持
• CH0-CH2无上拉配置，适合外部信号采样
• 已验证外部串口数据采样功能正常

许可证

本项目采用开源许可证，详见LICENSE文件。

联系方式

如有问题或建议，请提交Issue或Pull Request。

PCB设计参考up主 折腾plus

最终成品：

经测试AS5600正常，DRV8313输出正常，但由于购买的小电机是小黄鱼上几块钱淘的3S 2208高转速电机（FPV上用的），DRV8313峰值电流才2.5A，完全带不动，仅有轻微阻尼感，所以还是乖乖换云台电机吧。
驱动板整体积巨小，比2208电机稍宽，比较适合做个棘轮旋钮，等下一次更新吧。

未完待续…

涉及技术：

相机

相机标定

相机坐标映射

YOLO模型训练

机械臂

运动学逆解

运动姿态结算

注意：

1. 模型转换时，分辨率需保持一致，若为640X640训练的模型，则后面onnx模型转换为. cvimodel模型时需要保持参数一致！！！（适用于Maixcam的分辨率参数是320X224）
2. 遇到如下问题，先升级ONNXRuntime—pip install –upgrade onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple

一般升级后错误消失

1. 在文件夹里放置的图片要求：
   1.是数据集集里面的
   2.大小必须一致
   3.边长一定是32的倍数。如果不是32的倍数，就一定不符合模型的输入张量。补救的方法是用python脚本给他填充成32的倍数也行

用于yolo11n-obb模型：

OBB是什么？——和普通的识别框相比，OBB的识别框可以随物体的姿态转动，更好地标识出物体！你运行Maixvision自带案例中的ai_vision/nn_yolo11n_obb.py试试，看看这框真帅吧！而下图是我自己训练的模型效果：

有人会问：只看Maixpy官方文档的那个YOLO11-obb部署与识别教程可以吗？——可以，但是大概率会踩不少坑。你也许会遇到识别框无法旋转、INT8模型无法转换成功、运行模型后相机卡死、导入模型失败……等一系列烦人的事。所以，请将官方文档和我这篇文章结合起来食用效果更佳。

所用开发环境是Linux ubuntu22.04。若你是在Windows也没关系，其核心思想万变不离其宗。

如有更好的提议请告诉我，谢谢！

查看相机Maixpy版本

在相机内打开设置——设备信息，查看你的MaixPy版本。MaixPy不仅有电脑pip安装的，相机内部也有自己的MaixPy。要确保MaixPy是比较新的版本。

在Maixpy的github仓库中可以看到，自4.9.3开始才支持YOLO11-OBB检测（没找到YOLOV8-OBB是什么时候，所以最好用YOLO11来进行OBB检测）。如果你需要升级相机的maixpy版本，就要准备一个读卡器，烧录教程看maixcam官方文档的即可，很详细我这里就不说了。

采集数据集

大多数人常用相机里那个Maixhub客户端来在线设备采集，然而这种设备采集的曝光时间、增益值是自动的，如果你对数据集曝光要求比较严格，那就需要自己写个拍摄的程序。

例如我编写的是下面的采集程序。启动程序后，每秒拍摄4张图片储存在相机SD卡中。你可以随意修改它的曝光，设为-1代表自动。

from maix import camera, display, app, time
import os

# 设置摄像头分辨率
cam = camera.Camera(660, 280)
disp = display.Display()

cam.skip_frames(200)# 延时，等待相机稳定

exposure=cam.exposure(value = 3000)
gain=cam.gain(value = 3300)

# 保存文件夹路径。这是关于相机内的路径，和电脑路径无关
save_folder = "/root/photo"
if not os.path.exists(save_folder):
    os.makedirs(save_folder)

# 设置拍摄频率（每秒4张）
capture_interval = 0.25# 每张图片间隔时间
last_capture_time = time.time()

while not app.need_exit():
    img = cam.read()
    disp.show(img)# 显示图片

    current_time = time.time()
    if current_time - last_capture_time >= capture_interval:
# 生成文件名
        timestamp = int(current_time * 1000)# 使用时间戳作为文件名
        file_path = os.path.join(save_folder, f"{timestamp}.jpg")

# 保存图片
        img.save(file_path)
        print(f"Saved: {file_path}")

# 更新上次拍摄时间
        last_capture_time = current_time

    time.sleep(0.01)# 稍微延迟一下，避免占用过多CPU

下载、配置yolo11训练工程

给它单独开一个conda环境，我用的python 3.10。

从https://github.com/ultralytics/ultralytics下载源码，不用选版本，直接下就行。下载好后执行 pip install -r ultralytics transformers -i https://pypi.tuna.tsinghua.edu.cn/simple。之后如果报错缺少XX包，你就pip安装什么包。另外注意pip包之间容易有版本冲突，所以不能无脑下载，而是应该提前去百度包和包、包和环境之间的版本对应关系。

准备数据集

（1）数据集文件介绍

制作好的数据集的文件夹分布是这样的：

images/train 里面放训练图片，labels/train 里面放训练txt。

images/val 里面放验证图片，labels/val 里面放验证txt。

test里面可以是空的。

（2）txt格式介绍

用上海交通大学交龙战队开源的那个就行https://github.com/xinyang-go/LabelRoboMaster，它生成的txt格式完全符合标准。标注的方法看它的readme。

关于训练图片，最好是每张图片分辨率完全一样！！虽说理论上任何大小的图片都可以用于训练。但是训练的图片最好不要有的图片width过大、有的图片hight过大，因为之后训练的时候程序会给它们填充灰边使其统一大小。

（3）整理好的数据集放在哪都行，我习惯放在Ultralytics工程目录下。

获取yolo11n-obb.pt文件

从这个链接可以下载所有的官方pt权重文件https://github.com/ultralytics/assets/releases。注意我们要的不是普通的yolo11n.pt，而是yolo11n-obb.pt ！！它俩结构不一样，只有后者用于检测旋转矩形。

使用yolo11s-obb乃至其他字母的行吗？——我的建议是一定要基于yolo11n-obb进行训练。我曾经试过 s 的，但是一开始推理相机就卡死、掉线，必须重启，说明相机内存爆了！去官网查看pt文件的大小，n 文件大小为5MB，而 s 文件19MB体量太大，其他字母的更不用说了，一个比一个大根本不能用。

必备的两个yaml（1）——路径与标签

在工程目录下创建myfile-obb.yaml，输入：

path: /home/wp/ultralytics-main/my_data# dataset root dirtrain: images/train
val: images/val
#test: images/testnames:
  0: apple

简单解释一下：train和val是相对于path路径的。有个一劳永逸、安全但麻烦的方法是都使用绝对路径，当然我上面的代码可没有这样做。

这里我只写了一个类别。你可以随意更改类别的数目、内容。

必备的两个yaml（2）——网络定义

先声明一点：这个yaml是官方的，自己不用写，我们常说的“基于yolo…”就是选择的这个yaml。

在 ultralytics/cfg/models 下，你会看到从v3到v11所有版本的yaml，里面还细分了pose、obb、普通等各种模型，这个 yolo11-obb.yaml 就是我们想要的，复制一份放在工程目录下。

一定要重命名为yolo11n-obb.yaml，刚拿出来是不带s、n……这些字母的。

内容只需要改标签类别(nc)这个数字。

网上有博主给你的，其网络结构大概率和官方的这个yaml内容一模一样，用vscode对比就能看出来。

编写训练器train.py

在工程目录下新建一个train.py，那个imgsz是缩放 / 填充预处理，如果你的图片小于这个数，就会填充黑边再训练。其余的改改路径就行：

而v8训练出来的模型识别框根本无法旋转，角度永远输出-1.0000。

可能出现的问题：明明我指定的是yolo11s的pt文件，但是训练前期非要给我下载yolo11n.pt

先说明一点——不要使用yolo11s训练。不过我们还是要解决这个问题：找到amp这个参数，将它关闭就行。在ultralytics-main官方文件中，amp参数在ultralytics/cfgdefault.yaml 中，以键值对的方式，默认为True，把它改为False就行了。

from ultralytics import YOLO

def main():
    model = YOLO('yolo11n-obb.yaml').load('/home/wp/ultralytics-main/yolo11n-obb.pt')# build from YAML and transfer weights
    model.train(data='myfile-obb.yaml', epochs=100, imgsz=416, batch=4, workers=4)
if __name__ == '__main__':
    main()

检查训练结果，获得pt模型文件

训练好之后，在 runs/obb 下就能看到检测结果了。

pt转ONNX

工程目录下新建transform.py，代码如下。

这里的 width、height 一定要设置成32的倍数。如>果你没有设置为32的倍数，程序会悄悄设置成32的倍数，之后可能不符合你的预期而浪费时间。

转换成功后，在pt文件的同目录下就生成了。

from ultralytics import YOLO

net_name = "/home/wp/ultralytics-main/runs/obb/train5/weights/best.pt"
input_width = 864# 一定是32的倍数
input_height = 288

model = YOLO(net_name)
path = model.export(format="onnx", imgsz=[input_height, input_width], dynamic=False, simplify=True, opset=17)# export the model to ONNX formatprint(path)

ONNX转mud和cvimodel

（1）确定ONNX模型的输出节点

上https://netron.app/查看ONNX文件的结构图。按ctrl+F分别搜索：/model.23/dfl/conv/Conv_output_0，/model.23/Sigmoid_1_output_0，/model.23/Sigmoid_output_0。看看有没有这三个节点，如果缺少了说明模型错了。

（2）部署并配置算能的tpu-mlir

• 先装好docker吧，用小鱼ROS命令装很轻松。终端输入：按照小鱼的指引一步步来就行。（Windows用其他方式安装）

wget http://fishros.com/install -O fishros && . fishros

• 终端执行命令 wget https://sophon-file.sophon.cn/sophon-prod-s3/drive/24/06/14/12/sophgo-tpuc_dev-v3.2_191a433358ad.tar.gz 下载它的压缩包，下载好后执行docker load -i sophgo-tpuc_dev-v3.2_191a433358ad.tar.gz 。
• 在home目录下新建文件夹MaixCAM，在此文件夹下打开终端，执行 docker run –privileged –name MaixCAM -v $PWD:/workspace -it sophgo/tpuc_dev:v3.2 ，创建来一个MaixCAM的容器。没问题，然后关闭终端。
• 前往https://github.com/sophgo/tpu-mlir/releases，下载一个tpu_mlir-1.15b0-py3-none-any.whl，下载好后将它移动到MaixCAM，在文件夹内打开终端，输入 docker start MaixCAM && docker attach MaixCAM 打开容器，执行 pip install tpu_mlir-1.15b0-py3-none-any.whl ，完成后如下图所示。（3）将你需要转换的onnx文件放到MaixCAM文件夹中，再将一些待会测试的图片放进去。这里注意，test.jpg和images文件夹里的所有图片有3点要求：1.这些图片来自于数据集。2.大小必须一致。补救的方法是用python脚本用(114,114,114)的灰色填充为大小一致。3.边长一定是32的倍数。如果不是32的倍数，就一定不符合模型的输入张量。补救的方法是用python脚本用(114,114,114)的灰色填充为32的倍数。

  

这里的test.jpg的作用是什么？用于程序内部预处理验证、模型测试。从数据集中选取一张与模型输入相同大小的图片即可。images里面的图像作用又是什么？你会发现这只是专为INT8的转换而传入的。因为模型从浮点类型转为int类型需要生成“校准表”，用来调整网络中各种阈值参数。这个过程可以看做小规模的数据集训练，最后得到程序所需的参数。你需要从训练集中尽可能挑选各种特色鲜明、非极端情况的图片100~1000张。详细原理看https://doc.sophgo.com/sdk-docs/v23.03.01/docs_latest_release/docs/tpu-mlir/developer_manual/html/07_calibration.html

（4）建立转换脚本

新建 .sh 脚本，命名为convert_yolo11_to_cvimodel，里面输入下面的代码。

你需要修改的是：把net_name改成模型文件名字，宽和高改成模型输入口的大小。–output_names改成你自己的模型名称。

可能出现的问题：在容器内报错：[ONNXRuntimeError] : 9 : NOT_IMPLEMENTED : Could not find an implementation for Reshape(19) node with name ‘/model.22/Reshape’

那就在容器内执行 pip install –upgrade onnxruntime -i https://pypi.tuna.tsinghua.edu.cn/simple 升级onnxruntime就行。

#!/bin/bash

set -e

net_name=my_obb
input_w=864
input_h=288

# mean: 0, 0, 0# std: 255, 255, 255# mean# 1/std# mean: 0, 0, 0# scale: 0.00392156862745098, 0.00392156862745098, 0.00392156862745098mkdir -p workspace
cd workspace

# convert to mlir
model_transform.py 
--model_name ${net_name} 
--model_def ../${net_name}.onnx 
--input_shapes [[1,3,${input_h},${input_w}]] 
--mean "0,0,0" 
--scale "0.00392156862745098,0.00392156862745098,0.00392156862745098" 
--keep_aspect_ratio 
--pixel_format rgb 
--channel_format nchw 
--output_names "/model.23/dfl/conv/Conv_output_0,/model.23/Sigmoid_1_output_0,/model.23/Sigmoid_output_0" 
--test_input ../test.jpg 
--test_result ${net_name}_top_outputs.npz 
--tolerance 0.99,0.99 
--mlir ${net_name}.mlir

# export bf16 model#   not use --quant_input, use float32 for easy coding
model_deploy.py 
--mlir ${net_name}.mlir 
--quantize BF16 
--processor cv181x 
--test_input ${net_name}_in_f32.npz 
--test_reference ${net_name}_top_outputs.npz 
--model ${net_name}_bf16.cvimodel

echo "calibrate for int8 model"
# export int8 model
run_calibration.py ${net_name}.mlir 
--dataset ../images 
--input_num 200 
-o ${net_name}_cali_table

echo "convert to int8 model"
# export int8 model#    add --quant_input, use int8 for faster processing in maix.nn.NN.forward_image
model_deploy.py 
--mlir ${net_name}.mlir 
--quantize INT8 
--quant_input 
--calibration_table ${net_name}_cali_table 
--processor cv181x 
--test_input ${net_name}_in_f32.npz 
--test_reference ${net_name}_top_outputs.npz 
--tolerance 0.9,0.6 
--model ${net_name}_int8.cvimodel

（5）生成cvimodel文件，制作mud文件

在容器中执行 chmod +x convert_yolo11_to_cvimodel.sh && ./convert_yolo11_to_cvimodel.sh 命令。如果没问题的话，在 workspace 就能生成cvimodel文件。

有2种精度，选一种拷贝一份出来（更推荐使用INT8，虽然精度低，但是非常快），改名为my_model.cvimodel，再新建my_mud.mud文件，内容如下，改一下模型名称，改一下标签。

[basic]
type = cvimodel
model = my_model.cvimodel

[extra]
model_type = yolo11
input_type = rgb
mean = 0, 0, 0
scale = 0.00392156862745098, 0.00392156862745098, 0.00392156862745098
labels = apple

很容易报如下图的错：这是因为文件夹中放置的用于INT8转换的图片不符合上述的3点要求，所以你再仔细检查检查。然而此时精度bf16的cvimodel文件已经输出了，你要是不用INT8，就可以不理会这个报错。

（6）模型导入MaixCAM，打包为软件

打开Maixvision，将相机连接。在文件管理器内，新建my_project文件夹，将cvimodel和mud文件同时导入。

在电脑上新建test.py输入下面的代码，Maixvision打开该文件然后运行。

from maix import camera, display, image, nn, app

detector = nn.YOLO11(model="/root/my_project/my_mud.mud", dual_buff = True)

cam = camera.Camera(detector.input_width(), detector.input_height(), detector.input_format())
disp = display.Display()

while not app.need_exit():
    img = cam.read()
    objs = detector.detect(img, conf_th = 0.7, iou_th = 0.65)# 阈值for obj in objs:

        points = obj.get_obb_points()
        msg = f'{detector.labels[obj.class_id]}: {obj.score:.2f}, {obj.angle * 180:.1f}'
        img.draw_string(points[0], points[1] - 4, msg, color = image.COLOR_RED)
        detector.draw_pose(img, points, 8 if detector.input_width() > 480 else 4, image.COLOR_RED, close=True)
# 打印识别框的信息print(obj)
    disp.show(img)

如果报错“’maix._maix.nn.Object’ object has no attribute ‘get_obb_points’”未找到get_obb_points这个函数，说明你相机内部的MaixPy版本低于4.9.3，一定要升级。

• 装配体图片：

运行于Windows11平台：
    import cv2
    import time

    # 加载人脸检测的 Haar 特征分类器
    face_cascade = cv2.CascadeClassifier(cv2.data.haarcascades + 'haarcascade_frontalface_default.xml')

    # 打开摄像头
    cap = cv2.VideoCapture(0)

    # 获取摄像头分辨率
    frame_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
    frame_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
    print(f"当前分辨率: {frame_width}x{frame_height}")

    # 初始化帧率计算
    fps = 0
    prev_time = time.time()

    while True:
        # 读取摄像头画面
        ret, frame = cap.read()
        if not ret:
            break

        # 将图像转换为灰度图
        gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)

        # 检测人脸
        faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5)

        # 在检测到的人脸周围绘制矩形框
        for (x, y, w, h) in faces:
            cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 0), 2)

        # 计算并显示帧率
        current_time = time.time()
        fps = 1 / (current_time - prev_time)
        prev_time = current_time
        cv2.putText(frame, f'FPS: {int(fps)}', (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)

        # 显示结果
        cv2.imshow('Face Detection', frame)

        # 按 'q' 键退出
        if cv2.waitKey(1) & 0xFF == ord('q'):
            break

    # 释放摄像头并关闭窗口
    cap.release()
    cv2.destroyAllWindows()

由于树莓派系统更新后，官方不再提供camera驱动，而是使用Linux平台libcamera替代，且OpenCV部分还未能适配libcamera库，则不能使用常规的cv2.Capture(0)开启摄像头。

采用libcamera搭配cv2库替代：

目标跟踪&距离估算

单目摄像头需要根据已知实际物体大小来估算具体位置，如估算脸宽0.15m，camera视角范围62.2°（实际应该是160°，但经过裁剪，故估算62.2°左右）

帧率属实堪忧。

import math
import cv2
import time
from picamera2 import Picamera2

# Set known parameters
W = 0.15  # Actual face width (in meters)
FOV_x = 62.2  # Horizontal field of view (in degrees)
image_width = 640  # Image width (in pixels)

# Initialize the camera
picam2 = Picamera2()
picam2.configure(picam2.create_preview_configuration(main={"size": (image_width, 480)}))
picam2.start()

# Load the Haar Cascade for face detection
face_cascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

# Initialize variables for FPS calculation
prev_time = time.time()
fps = 0

while True:
    # Capture the frame
    frame = picam2.capture_array()
    
    # Fix BGR to RGB color inversion
    frame = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
    
    gray = cv2.cvtColor(frame, cv2.COLOR_RGB2GRAY)
    faces = face_cascade.detectMultiScale(gray, scaleFactor=1.1, minNeighbors=5, minSize=(30, 30))

    # Calculate the focal length
    FOV_x_rad = math.radians(FOV_x)
    focal_length = (image_width / 2) / math.tan(FOV_x_rad / 2)

    for (x, y, w, h) in faces:
        face_width = w
        # Estimate the distance
        distance = (focal_length * W) / face_width

        # Draw the detected face and display the distance
        cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 0, 0), 2)
        cv2.putText(frame, f"Distance: {distance:.2f} m", (x, y - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)

    # Calculate and display FPS
    current_time = time.time()
    fps = 1 / (current_time - prev_time)
    prev_time = current_time
    cv2.putText(frame, f"FPS: {fps:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)

    # Display resolution
    resolution_text = f"Resolution: {frame.shape[1]}x{frame.shape[0]}"
    cv2.putText(frame, resolution_text, (10, 60), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2)

    # Show the camera feed
    cv2.imshow("Camera", frame)

    # Break the loop if 'q' is pressed
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

# Cleanup
cv2.destroyAllWindows()
picam2.stop()

帧率优化：

使用树莓派官方提供的Linux raspberry OS使用OpenCV人脸检测仅仅达到3帧左右，帧率堪忧，还有很多需要优化的地方

2023年中国大学生工程实践与创新能力大赛 智能物流小车赛道 国三作品

此项目为2023年中国大学生工程实践与创新能力大赛 智能物流小车赛道 国三作品

小车所有结构以及代码部分均为团队自己设计

注意：电源需要采用12V大功率的航模电池，否则舵机无法正常驱动

概要

1. 代码功能:
   • 小车步进电机控制
   • 机械臂舵机控制
   • OpenMV物料识别控制
   • 抓取放置动作组控制
   • 空间坐标解算
   • PID控制算法
2. 开发平台:
   • Keil5 ARM
   • 使用的MCU为 STN32F103ZET6
   • 搭配OpenMV识别
3. 项目挑战:
   • 由于经费有限，前期小车结构并不稳定，所用舵机死区较大，所以止步国三
   • 若换用精度更高的舵机，效果会更好

项目特点

• 自主设计: 项目中的所有结构和代码均为团队自主设计。
• 多功能集成: 实现了伺服电机、机械臂、物料识别、抓取放置等多功能集成。
• 技术挑战: 在有限的资源条件下，通过优化控制算法和结构设计，尽可能提升小车的性能。

BSP

详见BJDJ.pdf

使用说明

1. 电源要求: 使用12V大功率的航模电池。
2. 开发环境: Keil5 ARM。
3. 硬件要求: STN32F103ZET6 MCU，OpenMV识别模块。

贡献者

• 4位团队成员

许可

Apache License

CSDN链接：FFT 相位差计算DSPF28335（较为精准，±0.1°）-CSDN博客

DSP-Based Measurement System

 项目描述： 该设计参考2023年全国大学生电子设计大赛C题，采用 TMS320F28335 制作。普通的 MCU 单片机计算效率低下，因此采用 DSP 完成。显示器件为 LCD1602。

![测量显示图] 由图片可见，所测结果分别为： VIN2幅值：1.28 VIN1幅值：0.49 相位差：91.53 电容C：9.223nf D值:0.0268 电桥测量103钽电容实际值为： C:9.42nf D值:0.017 综合以上测量结果可见： 所测量的幅值、相位差都很精准，所得电容C的值精确度也较高，但所得D值误差稍大，结合示波器测量结果可以判断，DSP所得数据无误，故误差应由外围测量电路造成，由于所用运放SN10501的非理想特性，会有极小的偏置电流，同时反馈电阻Rf的非理想特性也会导致所测电流大小偏差。故若想提升精度，需要改进测量外围电路，增加补偿电容或者通过大量的测量数据拟合曲线以修正偏差。

总体方案

根据电路基础的知识，一个阻抗两端的电压除以流过其中的电流，就是阻抗值。阻抗包括电阻和电抗。电阻是阻抗的实部，电抗是阻抗的虚部。在交流电压情况下，电抗会使电流波形和电压波形产生相位差。根据阻抗的电学定义，测试到电压和电流，相位差，就可以计算出阻抗。

运放电路中有一个基础单元电路，IV转换电路（电流转电压）。使用这个电路，就可以进行阻抗测量。 

具体步骤

1. 经过外围电路处理，电流以电压形式体现，再通过DSP的ADC模块分别对待测元件两端的电压 VIN1 和通过待测元件的电流（以电压形式体现） VIN2 进行采样 1024 个点，存至数组后对其进行 FFT 运算，对得到的 VIN1、VIN2 的幅值进行运算：
   • 相位差 α = VIN1 相位 – VIN2 相位
   • 阻抗 Zx = VIN1 / VIN2 * Rf (Rf 为反馈电阻)
2. 电容计算：
   • Zc = Zx * sin(α)
   • C = 1 / (2 * π * Zc)
3. 电感计算：
   • Zl = Zx * sin(α)
   • L = 1 / (2 * π * Zl)

FFT 运算参数

• 采样点数 N：512
• 采样率 fs：100KHz
• 待测频率固定为 25kHz，因此 25k / 100k * 512 = 128，所以所测信号对应频率点应该为第 128 点，只需关注第 128 点的幅值。
• 第 0 点为直流分量。

显示部分

在完成以上计算后，将计算结果显示在 LCD1602 上。

核心设计

• 核心芯片: TMS320F28335
• 显示器件: LCD1602
• 运算放大器: LF347（4个）

设计说明

 电路设计: 借鉴 TIDA-060029 文档中的电路设计，核心思想是 IV 分离电路，但采用了自主平衡阻抗和更优良的补偿机制。

 参考文档: TIDA-060029 文档

由于现有器件限制，使用的运放为 LF347，刚好4个够用。运放电路较为简单，并未采用补偿机制，但测量精度尚可。由于电路的非理想特性，若不采用补偿机制，只能通过后期 FFT 所得参数进行拟合调教。

硬件组件

• TMS320F28335: 高性能 DSP
• LCD1602: 显示模块
• LF347: 四运放芯片

功能介绍

•  高效计算: 采用 DSP 提高计算效率
•  精确测量: 通过自定义电路实现高精度测量
•  实时显示: 使用 LCD1602 实时显示测量数据

连接示例

TMS320F28335    LCD1602   LF347
VCC             VCC       VCC
GND             GND       GND
SDA             SDA       -
SCL             SCL       -
...