第 1 步：定义业务指标#

安全帽项目不能只写“mAP 越高越好”。建议提前定义：

• helmet 和 no_helmet 两类；
• 对 no_helmet 漏检的容忍度；
• 摄像头分辨率和距离范围；
• 目标最小像素尺寸；
• 期望 FPS 和最大告警延迟；
• 白天/夜间、室内/室外和遮挡场景。

业务上未戴安全帽的漏检代价通常高于普通误报，因此要单独看该类别 Recall 和真实漏检案例。

第 2 步：采集和划分数据#

视频抽帧示例：

1
import cv2
2
from pathlib import Path
3

4
video = cv2.VideoCapture("source.mp4")
5
output = Path("frames")
6
output.mkdir(exist_ok=True)
7

8
index = 0
9
saved = 0
10
interval = 15
11

12
while True:
13
    ok, frame = video.read()
14
    if not ok:
15
        break
16
    if index % interval == 0:
17
        cv2.imwrite(str(output / f"{saved:06d}.jpg"), frame)
18
        saved += 1
19
    index += 1
20

21
video.release()
22
print("saved:", saved)

连续视频相邻帧非常相似。训练集和验证集应按视频、机位或时间段划分，不能把同一段连续帧随机打散到两边，否则验证指标会虚高。

YOLO 数据结构：

1
helmet_dataset/
2
├─ images/
3
│  ├─ train/
4
│  └─ val/
5
└─ labels/
6
   ├─ train/
7
   └─ val/

单个标签行：

1
class_id x_center y_center width height

坐标归一化到 0~1。class_id 必须与 YAML 中的类别顺序一致。

helmet.yaml：

1
path: /absolute/path/to/helmet_dataset
2
train: images/train
3
val: images/val
4
names:
5
  0: helmet
6
  1: no_helmet

第 3 步：建立训练环境#

1
conda create -n helmet-yolo python=3.10 -y
2
conda activate helmet-yolo
3
pip install ultralytics
4

5
nvidia-smi
6
python - <<'PY'
7
import torch
8
print("torch:", torch.__version__)
9
print("cuda available:", torch.cuda.is_available())
10
print("cuda version:", torch.version.cuda)
11
PY

PyTorch、CUDA 和驱动组合应参考当前 PyTorch/Ultralytics 官方安装说明，不要固定照抄课程中的旧版本。

第 4 步：训练和验证#

命令行示例：

1
yolo detect train \
2
  model=yolo26n.pt \
3
  data=helmet.yaml \
4
  epochs=300 \
5
  imgsz=640 \
6
  batch=-1 \
7
  workers=4 \
8
  patience=50 \
9
  device=0

Python 示例：

1
from ultralytics import YOLO
2

3
if __name__ == "__main__":
4
    model = YOLO("yolo26n.pt")
5
    model.train(
6
        data="helmet.yaml",
7
        epochs=300,
8
        imgsz=640,
9
        batch=-1,
10
        workers=4,
11
        patience=50,
12
        device=0,
13
    )

Windows 多进程训练要保留 if __name__ == "__main__":。

训练结束优先使用 best.pt，并检查：

• train/val loss；
• 每类别 Precision、Recall、mAP；
• 混淆矩阵；
• PR 和 F1 曲线；
• 验证集真实框与预测框；
• 漏检、误检和小目标案例。

Ultralytics 当前训练参数和用法参考官方 Train 文档。

路线 A：Ultralytics 直接导出 RKNN#

截至本文写作时，Ultralytics 已提供 RKNN 集成，要求在 x86 Linux 上导出，当前主要支持检测模型：

1
from ultralytics import YOLO
2

3
model = YOLO("runs/detect/train/weights/best.pt")
4

5
# RK3588 浮点构建
6
model.export(format="rknn", name="rk3588")
7

8
# INT8 构建，data 用于量化校准
9
model.export(
10
    format="rknn",
11
    name="rk3588",
12
    quantize=8,
13
    data="helmet.yaml",
14
)

官方说明见 Ultralytics RKNN 集成文档。导出后可用 Ultralytics 在 RK3588 上执行预测和验证，但正式 C++ 项目仍要确认输出 Tensor 契约。

路线 B：ONNX → Toolkit2 → 自定义 C++#

如果需要复用 Model Zoo 的 C++ 后处理、修改检测头输出或做深度定制：

1
best.pt
2
→ 导出 ONNX
3
→ onnx.checker + Netron + ONNX Runtime
4
→ Toolkit2 转 RKNN
5
→ Python 模拟器/连板验证
6
→ C++ 后处理

课程中的 YOLO26 示例通过修改检测头导出多路回归/分类特征。源码路径会随 Ultralytics 版本变化，不能机械按旧行号修改。无论怎样导出，必须固定并记录：

• 输出数量和顺序；
• 每个输出 shape；
• 三个 stride/尺度；
• 类别数；
• DFL/回归解码方式；
• 是否已经包含 NMS。

逐级调试方法#

1. 固定一张测试图；
2. 保存 PyTorch 输出和最终框；
3. 保存 ONNX 对应输出；
4. 保存 RKNN Python 输出；
5. 保存 C++ 反量化后的部分 Tensor；
6. 对比同一位置、同一类别和同一尺度；
7. 最后才加入视频和多线程。

如果单图都不一致，不要通过反复调置信度阈值掩盖问题。

1. INT8#

先用代表性校准集转换，再跑完整验证集。不要只比较某一张图片。

2. Letterbox 和 RGA#

Letterbox首先保证几何正确。确认 OpenCV 版本结果正确后，再用 RGA 替换 resize/颜色转换，并逐像素/逐框比较结果。

3. 多 Context 线程池#

1
解码 → 有界队列 → 3 个左右独立 Context worker
2
→ 结果重排 → 后处理/显示

线程数增加到一定程度会被 DDR、CPU 前后处理或 NPU 饱和限制。报告总吞吐时同时报告单帧 P95 延迟和队列深度。

4. 零拷贝#

通用 API 正确后，再把 RGA/DMA-BUF 输出绑定给 RKNN Tensor Memory，减少 CPU 拷贝。必须处理 stride 和 Cache 一致性。

5. 硬件友好的模型结构#

课程演示了将 SiLU 改为 ReLU 后重新训练。修改激活函数会改变模型，不能沿用原权重后直接宣称加速成功。正确流程是重新训练、导出、量化，并同时比较精度和性能。

1. 先评估内存#

总内存不只包括模型文件：

1
量化权重
2
+ KV Cache（随上下文增长）
3
+ Runtime
4
+ Tokenizer/embedding
5
+ 系统和其他应用

8 GiB 板卡应从较小模型和较短上下文开始，先确认能稳定加载，再逐步增加。能放入存储不等于能在内存中运行。

2. 优先跑官方预转换模型#

第一次建议按仓库 Quickstart 下载预转换模型和 Demo，先验证 Runtime/驱动。官方多模态示例的基本步骤是：

1
adb push ./demo_Linux_aarch64 /data/
2
adb push ./model.rkllm /data/demo_Linux_aarch64/
3
adb push ./vision_model.rknn /data/demo_Linux_aarch64/
4

5
adb shell
6
cd /data/demo_Linux_aarch64
7
export LD_LIBRARY_PATH=./lib

具体命令参数包含图片、视觉 RKNN、语言 RKLLM、最大生成长度、上下文长度、NPU 核数和平台。参数在新版本中可能变化，运行前直接查看该 release 的 README 和 Demo usage。

3. 大模型性能要测什么#

• 首 Token 延迟；
• 生成速度 Token/s；
• 最大 RSS 和 KV Cache；
• 不同上下文长度的变化；
• CPU/NPU 利用率；
• 输出质量和量化影响；
• 连续多轮对话的稳定性。

官方仓库建议使用频率脚本，并可设置：

1
export RKLLM_LOG_LEVEL=1

再配合仓库的 CPU/NPU 监控脚本记录性能和内存。