基于“边缘人工智能”的实时嵌入式解决方案

原论文：/ftp/arxiv//2004/2004.13410.pdf

论文概述：

果园中苹果的实时检测是估算苹果产量的最有效方法之一，有助于更有效地管理苹果供应。 传统的苹果检测方法采用高计算机器学习算法，硬件配置相对密集。 由于重量和功耗的限制，它们不适合内田实时苹果检测。 在本研究中，我们提出了一种基于“边缘人工智能”的实时嵌入式解决方案，在各种嵌入式平台上实现微型算法，例如带有 Intel Stick (NCS)、Nano 和 AGX 组合的 Pi 3 B+。 使用意大利北部苹果园实地调查期间收集的图像编译了训练数据集。 测试图像取自广泛使用的数据集系统加速器，并过滤掉不同场景中包含苹果的图像，以确保算法的鲁棒性。 这项研究利用微观结构来检测小目标。 结果表明，在廉价、节能的嵌入式硬件上部署定制模型是可行的，并且不会影响平均检测精度（83.64％），即使在苹果重叠、背景复杂、树叶和树枝导致苹果曝光较少的情况下在困难场景下，也可以实现30fps的帧率。 此外，所提出的嵌入式解决方案可以部署在无人地面车辆上，实时检测、计数和测量应用的规模，帮助农民和农业工作者掌握决策和管理技能。

介绍：

对农场和果园的监测主要依靠熟练的农民和工人，他们负责在执行农业相关行动之前评估几个生长阶段，以最大限度地提高质量和产量。 这些农民的体力劳动消耗时间，增加生产成本，而知识和经验较少的工人会犯不必要的错误。 随着精准农业和信息技术的发展，农作物图像已成为评价农作物植被状况、果实生长、产量和品质的重要信息来源。 使农民能够估计作物负荷和产量图，以估计果树作物的数量和大小。 几项研究提出使用机器视觉系统在果园中进行水果检测，以进行自动生长评估、机器人收割和产量估计。

苹果作物负荷管理因其对产量的影响而受到关注。 如何让苹果采摘机器人能够直接、快速、准确地实时识别果实，一直是苹果采摘机器人研究的首要问题。 在自然环境中，由于光影、枝叶覆盖的影响，视觉系统对苹果果实的检测往往存在困难。 苹果在自然环境下的视觉表现可分为无遮挡果和遮挡果。

树叶、树枝和其他水果造成的遮挡以及可变的照明条件是使水果检测更具挑战性的一些主要原因。 很少有研究在夜间环境中进行实验，在树冠周围形成隧道结构以应对各种照明条件。 采用多个传感器采集树冠前后端图像，避免果实遮挡，果实检测精度高。 然而，成熟和大尺寸水果的自动化采收需要对果实尺寸进行估计，并且由于机器人实时采收的困难，很少有研究利用机器视觉系统来估计果实尺寸。

随着机器学习的兴起，深度学习算法已广泛应用于农业相关应用。 深度学习可用于作物地图绘制、作物图像分割和作物目标检测。 卷积神经网络 (CNN) 用于提取图像中的目标区域、目标分割以及使用连续 CNN 计数算法对树上的水果进行计数。 迪亚泽特等人利用CNN结合支持向量机（SVM）自动提取苹果花特征来统计复杂背景，取得了比以往研究相对准确的苹果花区域分割结果。 采用Fast R-CNN和区域提议网络（RPN）方法来检测复杂背景场景下图像中的感兴趣区域（ROI），然后使用分类器对边界框进行分类。 使用 VG16 网络的 Fast R-CNN 是水果检测的最新方法。 然而，由区域提议网络（RPN）和分类网络组成的-CNN在准确率上取得了良好的效果，但检测速度较慢，在高分辨率实时图像中无法取得良好的效果。

You Only Look Once (YOLO) 方法将分类和定位视为回归问题。 YOLO网络不需要RPN，直接进行回归来检测图像中的目标。 因此，它速度快，可以在实时应用中实现。 最新版本（）不仅具有更高的检测精度和速度，而且在检测小目标方面也表现出色。 然而，由于其结构复杂，该模型需要更多的处理，并且不适合实时应用，例如收割机器人。 通过修改模型参数进行功耗优化可以降低计算复杂度，因此需要部署在 and-Pi 等边缘设备上。

大数据集的训练和验证需要集群或服务器等高性能计算机器。 这些机器广泛用于部署高功率深度学习算法。 然而，在低功耗终端设备中，研究人员将注意力集中在CNN的实时嵌入式性能上。 人们对该平台的效率表示担忧。 网络优化（即网络修剪或量化）是一种通过将密集模型压缩为稀疏或低位结构来减小模型大小的技术，并且精度下降最小或没有。

边缘人工智能及相关工作

受深度学习启发的实时智能解决方案必须具备能源效率、经济性、体积小以及精度和功耗之间的良好平衡等关键特性。 事实上，基于深度学习的架构通常部署在集中式云计算环境中。 然而，存在一些限制，例如网络延迟、能源和财务开销，这些限制影响系统的整体性能。 为了解决这些限制，引入了边缘计算（通常称为“边缘人工智能”），它是对从各种设备或传感器获取的数据进行本地计算。 边缘AI在满足实施要求方面面临的挑战是在低功耗水平下执行低功耗任务。 同时保证算法的高输出精度。 然而，硬件选项的创新，包括中央处理单元（CPU）、图形处理单元（GPU）、专用集成电路（ASIC）和片上系统（SoC）加速器，正在使边缘人工智能成为可能。 、英特尔和高通都是市场领先品牌，为智能技术的发展做出了重大贡献。 其中，英特尔的神经计算棒（NCS）是最便宜的使用多层CNN来实现计算扩展算法的设备。 在网络控制系统中部署 CNN 模型，对基于 3D 体素的点云进行分类。

是另一种新兴的嵌入式硬件和广泛使用的机器学习算法加速器。 最有前途的功能是CPU-GPU异构架构，其中CPU启动固件，而支持CUDA的GPU有潜力加速复杂的机器学习任务。 主要特点包括尺寸小、重量轻、功耗低。 然而，要充分发挥潜力并获得实时性能，需要优化硬件和神经网络算法。 该系列还包括近几年得到广泛应用的TK1、TX1和TX2。 以低成本的TK1为例，TK1利用深度神经网络的模型压缩应用于睡意检测。 将应用于基于深度学习的网球收集机器人。 在各种硬件平台的定性比较中，TX2 的吞吐量最高。 他们使用微型 YOLO 进行物体检测，并声称其产品在精度和帧率方面比 YOLO 和 SSD 更好。 在TX2上部署micro-YOLO，并使用-V2视觉传感器来检测和定位机器人。 我们在 TX2 中部署了基于案例的 CNN 模型，利用多光谱图像对杂草进行语义分类，并在 Pi 3 B+ 等嵌入式平台上，结合 Intel Neu-ral Stick (NCS)、Nano 和 AGX，得到了改进版本部署微小算法进行实时苹果检测。

规格对比

定量结果：嵌入式实施

训练后，该模型已部署在第 II-B 节中介绍的不同硬件平台上。 我们测试了吸收功率和框架的性能。 第一个是我们测量了不同主板（-AGX-、-Nano、-Pi3B+）在空闲状态下的功耗，然后执行算法近5分钟以确保稳定状态。 。 我们直接测量从电源汲取的电流，从而获得整个系统的功耗。

由于这些板允许用户选择不同的操作条件，因此我们对所有板进行了测试。 结果如表5所示。AGX是性能最好的平台，在30W工作模式下能够达到30fps。 此外，在其他模式下，它能够达到适合强大的实时团队应用程序的帧速率。 使用Nano，在10W模式下，帧率下降到8fps，这对于软实时环境来说仍然是可以接受的值。 使用 Pi 和英特尔的 NCS，性能会进一步下降。 在相同的运行条件下，更先进的NCS2在帧率和功耗方面都可以超越上一代产品。 然而，尽管更加灵活，这些 USB 加速器在最佳情况下也不能超过 5 fps。

将不同设备的功耗和性能与我们的定制实施版本进行比较。 系列开发板可以在不同的功耗模式下运行，以牺牲计算能力为代价来降低功耗。 模式栏显示不同工作模式下的理论最大功耗，与算法执行过程中的实际功耗不同。 以每秒帧数计算，最佳性能如红色记录所示：

不同平台之间一个有趣的比较是价格/fps比率，如下所示：

如果我们正在寻找性能和成本之间的平衡，Nano似乎是最好的选择。 另一方面，AGX 具有较高的比率，因为它是质量最高的板，但肯定不适合低成本解决方案。 Intel在性价比上排名第二和第三，但必须强调的是，由于它们只是USB加速器，因此必须额外购买嵌入式计算机，从而增加了最终成本。

从训练数据集的同一研究地点获得的一些附加测试图像的定性结果。 可以使我们的定制版本对 Apple 外观的不同变化因素具有极强的鲁棒性。 同时处理照明、视点、比例、遮挡和背景杂波的变化是一项具有挑战性的任务，我们的系统必须以有限的计算能力执行实时跟踪。

综上所述：

实时苹果检测系统已经开发出来，并在一些边缘人工智能设备上进行了测试。 经典的微观结构经过修改和调整，以提高其在存在小且大部分被遮挡物体时的准确性。 它已经使用自定义数据集进行了训练，在真实果园中获取，并使用所有可用的 OIDv4 图像进行了测试。 准确性结果表明，当呈现不同大小的目标时，召回率和准确性都会提高。 为了突出不同选定的嵌入式解决方案在推理速度和功耗方面所实现的性能，进行了实验评估。 实验结果表明，该系统具有良好的应用前景，能够以最小的功耗产生实时定位和检测次数。 一个完整的框架可以整合现有的不同目的的研究，从苹果计数到收获健康评估到智能包装老化。 事实上，进一步的工作将只集中于使用所提出的方法来可靠地计算苹果数量的产量估计。 事实上，本研究并没有直接讨论图像配准问题，而是为了减少重复计数，提高系统的准确性，对图像配准提出了很高的要求。 此外，考虑到所提出的分析的扩展，本研究的未来发展将考虑 FPGA/ASIC 实现。 最后，所采用的方法不仅限于苹果检测任务，还可以应用于其他需要实时检测边缘微小物体的应用。