3D传感器在环境感知、捕捉方面的作用

据麦姆斯咨询介绍，随着3D传感模组价格的下降和性能的提升，3D视觉或深度传感正不断赋能各种新应用，包括帮助机器人创建环境地图并完成任务，比方如何最好地避让人类。其他应用还包括物体取放、组合装配和检测，以及将物品从一个位置移动到另一个位置等。这些应用都依赖于经济且强大的3D视觉传感器，目前，该领域存在多种竞争型技术。所有这些技术都有各自的优点和缺点，具有不同的工作距离、分辨率、处理能力以及成本。每种技术都有其重要的市场价值，大体因为目前还没有能够应对所有应用场景的单一最佳解决方案。

crhm51900928

2020-8-10 11:42:57

3D成像在自动驾驶汽车的环境感知方面发挥着关键作用
“根据各种应用所需要的性能和市场限制，这些技术都可以找到各自的用武之地，” Yole光电子技术和市场分析师Alexis Debray说道。对于3D视觉，竞争技术包括许多种类的激光雷达（LiDAR）和飞行时间（time-of-flight，ToF）传感器，它们发出光线并通过测量返回信号所需要的时间来获得距离信息。还有结构光技术，该方案通过测量投射到物体上的光图案的变形来确定距离（也是三角测距法）。另一种技术是激光三角测量，通过激光点出现在相机视场中的位置提取深度。最后，还有一种技术方案是立体深度视觉传感，通过使用两个相机图像特征点的差异来计算距离。除立体深度视觉外，上述方法都需要某种形式的照明。这在某些照明不定的工业环境中可能是优势，但照明确实增加了功耗，如果是电池供电型设备就可能会带来供电问题。供电与照明现在，这几种3D传感技术在功率和尺寸方面都有了显著的改善。“例如，结构光深度传感，2009年时的功耗约为10W，模组大概有一块砖头那么大，而现在，尺寸仅为拇指指甲大小的飞行时间模组，功耗仅需250mW，”飞行时间传感器制造商pmd technologies（以下简称pmd）销售和业务开发副总裁Mitch Reifel介绍说。

3D视觉或深度成像解决方案的发展演变。上图是三种性能大致相当的解决方案，使用了两种不同的技术方案（结构光和飞行时间）。十年来，尺寸都大约缩小了十倍。受益于这些技术的进步，新应用才能层出不穷，例如大型仓库中移动排架的机器人。深度传感可以帮助机器人识别哪些是货架，并帮助它们跟踪架子上的物体。美国宾夕法尼亚州ifm efector公司的机器人感知业务开发负责人Garrett Place表示，深度传感技术在机器人领域的应用越来越多。这家美国公司是德国ifm electronic的子公司，ifm electronic是拥有pmd的自动化解决方案供应商。得益于更好的3D视觉，一项新应用得以实现，那便是卸垛。顾名思义，这项应用包括利用机器人从托盘上取下货物，并将它们放在传送带上。这在工厂进货时很常见。3D相机的使用能够更快地定位货物，从而提高操作效率。“除了机器人本身的移动之外，在完成一件搬运到拾取下一件之间没有任何延时，”Place说，“这太强大了，平均每件货物可以节省3~5秒。”另一个新应用案例是自动叉车。在这项任务中，自动驾驶叉车必须精确定位它需要移动叉起的货物。使用3D相机收集所需要的信息，可以更快、更准确地完成任务，从而提高操作的速度和安全性。在服务业也可以找到3D模组价格下跌所带来的新兴应用。例如，利用机器人手臂为人提供饮料或其他物体，深度传感可以确保物品被安全地传送。但是当机器人手臂接近目的位置时，手臂、物体或两者都可能阻挡机器人“视线”。因而，可以在机器人手臂中安装成本低廉的3D传感器，以提供近距离3D视图，从而提高安全性和性能。不过，这样做需要3D相机之间的同步和数据叠加，以及与所有其他传感器的信息融合。当多种3D技术一起应用时，这种信息的融合就会变得非常重要，使用以色列Newsight Imaging公司的产品时便是如此。Newsight Imaging首席执行官兼公司联合创始人Eli Assoolin表示，Newsight Imaging提供基于激光三角测量和增强型ToF解决方案，目的是创建距离数据的点云。

3D成像在自动驾驶汽车的环境感知方面发挥着关键作用
“根据各种应用所需要的性能和市场限制，这些技术都可以找到各自的用武之地，” Yole光电子技术和市场分析师Alexis Debray说道。对于3D视觉，竞争技术包括许多种类的激光雷达（LiDAR）和飞行时间（time-of-flight，ToF）传感器，它们发出光线并通过测量返回信号所需要的时间来获得距离信息。还有结构光技术，该方案通过测量投射到物体上的光图案的变形来确定距离（也是三角测距法）。另一种技术是激光三角测量，通过激光点出现在相机视场中的位置提取深度。最后，还有一种技术方案是立体深度视觉传感，通过使用两个相机图像特征点的差异来计算距离。除立体深度视觉外，上述方法都需要某种形式的照明。这在某些照明不定的工业环境中可能是优势，但照明确实增加了功耗，如果是电池供电型设备就可能会带来供电问题。供电与照明现在，这几种3D传感技术在功率和尺寸方面都有了显著的改善。“例如，结构光深度传感，2009年时的功耗约为10W，模组大概有一块砖头那么大，而现在，尺寸仅为拇指指甲大小的飞行时间模组，功耗仅需250mW，”飞行时间传感器制造商pmd technologies（以下简称pmd）销售和业务开发副总裁Mitch Reifel介绍说。

3D视觉或深度成像解决方案的发展演变。上图是三种性能大致相当的解决方案，使用了两种不同的技术方案（结构光和飞行时间）。十年来，尺寸都大约缩小了十倍。受益于这些技术的进步，新应用才能层出不穷，例如大型仓库中移动排架的机器人。深度传感可以帮助机器人识别哪些是货架，并帮助它们跟踪架子上的物体。美国宾夕法尼亚州ifm efector公司的机器人感知业务开发负责人Garrett Place表示，深度传感技术在机器人领域的应用越来越多。这家美国公司是德国ifm electronic的子公司，ifm electronic是拥有pmd的自动化解决方案供应商。得益于更好的3D视觉，一项新应用得以实现，那便是卸垛。顾名思义，这项应用包括利用机器人从托盘上取下货物，并将它们放在传送带上。这在工厂进货时很常见。3D相机的使用能够更快地定位货物，从而提高操作效率。“除了机器人本身的移动之外，在完成一件搬运到拾取下一件之间没有任何延时，”Place说，“这太强大了，平均每件货物可以节省3~5秒。”另一个新应用案例是自动叉车。在这项任务中，自动驾驶叉车必须精确定位它需要移动叉起的货物。使用3D相机收集所需要的信息，可以更快、更准确地完成任务，从而提高操作的速度和安全性。在服务业也可以找到3D模组价格下跌所带来的新兴应用。例如，利用机器人手臂为人提供饮料或其他物体，深度传感可以确保物品被安全地传送。但是当机器人手臂接近目的位置时，手臂、物体或两者都可能阻挡机器人“视线”。因而，可以在机器人手臂中安装成本低廉的3D传感器，以提供近距离3D视图，从而提高安全性和性能。不过，这样做需要3D相机之间的同步和数据叠加，以及与所有其他传感器的信息融合。当多种3D技术一起应用时，这种信息的融合就会变得非常重要，使用以色列Newsight Imaging公司的产品时便是如此。Newsight Imaging首席执行官兼公司联合创始人Eli Assoolin表示，Newsight Imaging提供基于激光三角测量和增强型ToF解决方案，目的是创建距离数据的点云。

姚远

2020-8-10 11:43:00

采用结构光技术的手持式扫描仪，可在4.5m外捕捉精确的3D数据
收集此类数据的成本已经大幅下降，从几年前基于激光雷达解决方案的数万美元下降到今天的几百美元。Assoolin表示，使用其他3D传感技术的解决方案甚至更便宜，可能只需数十美元。成本还会持续下降，甚至可能加速下降，因为3D成像将很快出现在每部智能手机中。这种技术还不能直接应用于工业环境，但是芯片的大规模上量，意味着非消费类应用的价格也会跟着下降。至于这些新的深度传感解决方案可以有哪些应用，一种可能是检测，Assoolin说。目前，先进的传感器可以在相对较近的距离，进行几个点的线捕捉。Newsight现在提供的芯片可以大幅改善检测，并可以在更广泛的环境中进行部署。“我们的芯片每秒运行40000帧，能够检测出微米级的缺陷，”Assoolin说道，“我们可以让一切变得更快、更准确、更经济。”

价格下降和性能提升使新的3D成像应用成为可能，例如门禁控制
以色列Mantis Vision公司首席商务官Shabtay Negry称，在工业环境中考量3D视觉应用时，环境会对应用和性能产生重大影响。Mantis Vision提供3D扫描、成像和视频捕捉解决方案。这些都是基于结构光的专利算法，可在数据质量方面提供最精准的模型，Negry说。温度和振动影响3D传感精度温度变化和振动会降低3D传感精度，而这两种情况在工厂车间或其他工业环境中很常见。温度变化一般趋于连续变化，而发动机启动、关闭或物体相互撞击时，振动往往会引起剧烈的干扰。两者都会引起结构光图案偏移，从而可能导致3D传感结果的不准确。因此，需要采取必要的措施来应对这些影响，Negry说。就Mantis Vision而言，该公司的产品使用了专有方法进行即时自动校准，从而校正环境影响。
关于新兴应用，用于游戏和娱乐目的的实时3D流媒体应用，也可以用于工业培训和模拟。例如，指导人员可以演示如何执行一项任务，利用多个3D传感器和其他传感器捕获每一个动作。然后系统可以进行远距离复制演示。“使用多个同步传感器的实时3D流媒体，开辟了新的交流方式和新的市场，”Negry说。Teledyne DALSA工业事业部项目和产品经理Raymond Boridy说，3D系统性能的改进确实扩大了可能的应用领域。这家总部位于蒙特利尔的系统制造商正在推出一系列激光三角测量产品。其他Teledyne事业部提供ToF和立体视觉技术。Boridy说：“激光三角测量技术的进步提高了速度，改善了输出，精准度更高。Teledyne DALSA的产品能够以10微米级的精度区分物体，这在进行高精度检测时非常重要。”“我们能够分辨小到仅有20微米的划痕、缺陷、孔洞，”Boridy说。这种性能在某些环境非常有用。不过，大部分应用不需要这样的精细检测。但确实需要检测结果的可重复性，发现缺陷的能力和速度。因此，3D视觉系统必须符合应用要求，利用单一某种深度传感技术可能无法做到最优。这就是为什么目前所有技术方案都占有一定的市场份额，并没有哪种技术方案对于所有应用都具有明确的领先优势。然而，抛开3D传感技术层面，完整的3D传感解决方案需要的不仅仅是成像，因为仅测量距离是不够的，还需要多传感器数据融合、人工智能算法等。自动驾驶汽车应用的深度感知激光雷达技术，就能很好的说明这一点。“激光雷达的数据必须通过人工智能计算、转译并与其他传感器融合。这是一项重要挑战，如果没有得到妥善解决，会使激光雷达失去意义，”Yole的Debray谈到这种情况时，强调了完整解决方案的必要性。

采用结构光技术的手持式扫描仪，可在4.5m外捕捉精确的3D数据
收集此类数据的成本已经大幅下降，从几年前基于激光雷达解决方案的数万美元下降到今天的几百美元。Assoolin表示，使用其他3D传感技术的解决方案甚至更便宜，可能只需数十美元。成本还会持续下降，甚至可能加速下降，因为3D成像将很快出现在每部智能手机中。这种技术还不能直接应用于工业环境，但是芯片的大规模上量，意味着非消费类应用的价格也会跟着下降。至于这些新的深度传感解决方案可以有哪些应用，一种可能是检测，Assoolin说。目前，先进的传感器可以在相对较近的距离，进行几个点的线捕捉。Newsight现在提供的芯片可以大幅改善检测，并可以在更广泛的环境中进行部署。“我们的芯片每秒运行40000帧，能够检测出微米级的缺陷，”Assoolin说道，“我们可以让一切变得更快、更准确、更经济。”

价格下降和性能提升使新的3D成像应用成为可能，例如门禁控制
以色列Mantis Vision公司首席商务官Shabtay Negry称，在工业环境中考量3D视觉应用时，环境会对应用和性能产生重大影响。Mantis Vision提供3D扫描、成像和视频捕捉解决方案。这些都是基于结构光的专利算法，可在数据质量方面提供最精准的模型，Negry说。温度和振动影响3D传感精度温度变化和振动会降低3D传感精度，而这两种情况在工厂车间或其他工业环境中很常见。温度变化一般趋于连续变化，而发动机启动、关闭或物体相互撞击时，振动往往会引起剧烈的干扰。两者都会引起结构光图案偏移，从而可能导致3D传感结果的不准确。因此，需要采取必要的措施来应对这些影响，Negry说。就Mantis Vision而言，该公司的产品使用了专有方法进行即时自动校准，从而校正环境影响。
关于新兴应用，用于游戏和娱乐目的的实时3D流媒体应用，也可以用于工业培训和模拟。例如，指导人员可以演示如何执行一项任务，利用多个3D传感器和其他传感器捕获每一个动作。然后系统可以进行远距离复制演示。“使用多个同步传感器的实时3D流媒体，开辟了新的交流方式和新的市场，”Negry说。Teledyne DALSA工业事业部项目和产品经理Raymond Boridy说，3D系统性能的改进确实扩大了可能的应用领域。这家总部位于蒙特利尔的系统制造商正在推出一系列激光三角测量产品。其他Teledyne事业部提供ToF和立体视觉技术。Boridy说：“激光三角测量技术的进步提高了速度，改善了输出，精准度更高。Teledyne DALSA的产品能够以10微米级的精度区分物体，这在进行高精度检测时非常重要。”“我们能够分辨小到仅有20微米的划痕、缺陷、孔洞，”Boridy说。这种性能在某些环境非常有用。不过，大部分应用不需要这样的精细检测。但确实需要检测结果的可重复性，发现缺陷的能力和速度。因此，3D视觉系统必须符合应用要求，利用单一某种深度传感技术可能无法做到最优。这就是为什么目前所有技术方案都占有一定的市场份额，并没有哪种技术方案对于所有应用都具有明确的领先优势。然而，抛开3D传感技术层面，完整的3D传感解决方案需要的不仅仅是成像，因为仅测量距离是不够的，还需要多传感器数据融合、人工智能算法等。自动驾驶汽车应用的深度感知激光雷达技术，就能很好的说明这一点。“激光雷达的数据必须通过人工智能计算、转译并与其他传感器融合。这是一项重要挑战，如果没有得到妥善解决，会使激光雷达失去意义，”Yole的Debray谈到这种情况时，强调了完整解决方案的必要性。

陈勇

回帖（2）

crhm51900928

姚远

相关问答

3D传感器如何为车内安全保驾护航?

传感器是苹果3D摄像头预示下一个风口

CMOS传感器在3D视觉/感测和度量中的应用

光学3D表面轮廓仪可以测金属吗？

3D图像的主流技术有哪几种？

3D ToF怎么引领行业应用浪潮？

自动驾驶汽车中传感器的分析

一文解析什么是无线传感器网络

设计与实现一个基于3D加速度传感器的便携式计步器

大家能介绍些3d加速度传感器么？

20万+工程师都在用，免费PCB检查工具