使用结构光三维扫描技术进行随机抓取在工厂自动化中发挥着重要作用。它使机器人能够从料箱中拾取具有随机姿态的已知物体，并将物体分类，以便进行下一步装配。本白皮书介绍了莱迪思FPGA如何赋能系统设计，特别是如何降低系统的BOM成本。通过集成莱迪思的FPGA解决方案，您可以构建一个经济高效的随机拣选系统。 

结构光三维扫描

结构光三维扫描通过将网格或条纹等光图案投射到物体表面，来捕捉物体的三维形状。这些图案的变形由摄像头记录，并通过专用算法处理生成详细的三维模型（见图1）。

该技术广泛应用于工业设计、质量控制、增强现实游戏和医学成像等领域。与基于激光的三维扫描相比，结构光扫描仪使用LED或投影仪等非相干光源，可实现更快的数据采集，并消除了激光可能带来的安全隐患。然而，结构光扫描的精度可能受外部因素影响，包括环境光照条件和被扫描物体的反射特性。

将窄带光投射到三维表面时，会产生一条照明线，从投影仪以外的视角观察时，该照明线会呈现扭曲形态。通过分析这种扭曲可重建表面几何形状，这一技术被称为光切法。

一种更高效通用的方法是同时投射由多条条纹或任意条纹组成的图案。该方法可一次性获取大量数据点，显著提高扫描速度。从不同角度观察时，投射的图案会因物体表面形状而出现几何扭曲，从而实现精确的表面重建。

尽管存在多种结构光投射技术，但平行条纹图案是最常用的技术之一。通过分析这些条纹的位移，可准确确定表面细节的三维坐标。

随机料箱抓取

随机抓取是计算机视觉与机器人学的核心问题。其目标是让搭载传感器和摄像头的机器人，使用真空吸盘、平行夹爪或其他类型的机器人末端执行器，从料箱中拾取随机位姿的已知物体。这种拾取功能主要用于工厂，从随机堆叠物体的料箱中分拣出物体，以便进行下一步装配。

现代的随机料箱抓取取通常采用结构光三维扫描技术，获取每个物体的详细三维信息。系统从三维信息中恢复物体形状并确定其空间方位。计算机视觉在目标识别和抓取点计算中起主要作用。对于复杂物体，还会利用用户提供的CAD信息（如详细形状信息），通过几何匹配辅助目标检测。近年来，基于机器学习的目标检测与分割等方法被用于处理更复杂的情况。计算中的一个重要因素是识别物体的重叠情况，确保机械臂拾取的是未被其他物体遮挡的目标。否则，由于目标物体上方存在其他物体，抓取可能失败。基于计算结果，机械臂将物体拾取并移动至目标位置。

该解决方案通常由通过以太网连接的两个模块组成：传感器模块和计算模块。传感器模块向料箱投射结构光，并通过摄像头捕获反射图像。捕获的图像传输至具备强大计算资源（如CPU、GPU）的计算模块，执行上述所有计算。最终目标坐标将被传输至机器人控制模块（见图2）。  

莱迪思的解决方案

在我们的解决方案中，我们通过以下方式对设计进行划分：传感器模块中的FPGA分担计算模块的计算任务，并通过发送一张编码图像而非一系列原始图像，降低两个模块之间的以太网连接带宽。这不仅加快了感知环节的速度，还降低了计算模块的物料成本（BOM）。

在传感器模块中，针对结构光三维扫描，FPGA生成图像序列并逐张发送至投影仪。发送一张图像后，FPGA触发摄像头传感器，采集与刚发送至投影仪的图像对应的料箱图像。这确保了逐帧同步，并支持每帧更换图像以实现快速扫描。

我们在生成的图像中使用的灰度二进制图案包括正、负、水平、垂直图案以及全白和全黑图案，图像数量为41张。摄像头捕获的图像序列通过MIPI CSI链路返回至FPGA。FPGA将这些图像编码为10位编码图像，该图像可标识生成图像中对应像素的位置。此编码图像将传输至计算模块。这种编码方式显著降低了与计算模块之间的以太网链路带宽需求。例如，在1080p分辨率下，若发送原始图像需传输1920×1080×8b×41=680MB数据，编码图像仅需1920×1080×10b×2=41MB（减少16倍），这大幅降低了以太网链路的带宽要求。

在计算模块中，三角测量算法根据给定的编码图像生成深度图像。该深度图像用于目标检测（分割）和抓取点计算（见图3）。

为获取每个像素的深度信息，需对每个像素执行三角测量，这是高度重复的像素级计算，可并行处理。莱迪思FPGA可通过执行三角测量并生成深度图，将此任务从计算模块中分担出来。生成的深度图可传输至计算模块，从而降低计算模块的计算需求，减少计算资源的使用并降低物料成本（BOM）。或者，用户可在使用相同计算资源的同时拓展额外功能，因为三角测量部分已转移至FPGA。类似地，FPGA可执行全部或部分基于机器学习的目标检测与分割，进一步减轻计算模块的负担（见图4）。

完成编码图像生成任务的FPGA是莱迪思CrossLink™-NX或Certus™-NX，而若需进一步分担任务，则需要莱迪思CertusPro™-NX、Avant™或Certus™-N2（Nexus™ 2）系列FPGA。此外，系统需要HyperRAM或LPDDR等外部存储器来存储采集的图像并生成编码图像；若要通过生成的深度图进一步分担计算任务，则需要配备LPDDR存储器。

莱迪思FPGA的小尺寸和低功耗特性使其能够集成于塑料外壳内，无需风扇、散热器等额外散热组件，从而实现小型化、低成本的传感器模块设计。

作为验证相关概念和算法的开发平台，我们构建了一个概念验证演示系统。当前的概念验证演示系统基于通用投影仪（NEC NP-M300X LCD投影仪）和CPNX VVML开发板搭建，计算模块采用NVIDIA Jetson Orin Nano，机械臂则使用UFACTORY LITE6，通过Python代码进行控制。

通用投影仪的使用存在一定局限性。例如，投影仪会执行逐帧图像补偿以提升人眼观看清晰度，但这会影响图案形状和亮度，因此我们需要等待补偿效果消失，导致最多只能每隔一帧更换图像（而非每帧更换）。此外，投影仪的原生输入分辨率为 XGA（1024×768），若输入1080p图像，投影仪内部的缩放器会产生抖动并破坏图案，因此演示中使用XGA分辨率。对于产品场景，建议采用DLP快速帧率投影仪（见图5）。

结论

莱迪思FPGA支持基于结构光三维扫描的随机料箱抓取技术。莱迪思FPGA的使用能够降低两个模块的物料成本（BOM）：
1）计算模块（任务分担至FPGA）
2）传感器模块（塑料外壳内无需散热组件）