DM系列3D相机用户手册-CH

1. 产品介绍

1.1 产品名称及适用范围

产品名称:DM ToF相机

涵盖型号:本说明书适用于以下相机型号:LWP-D322-I、LWP-D322C-I、LWP-D322W-I、LWP-D322-IS、LWP-D322C-IS、LWP-D322W-IS。

1.2 产品概述

DM是一款工业级RGBD智能相机,内置高性能iToF传感器芯片,同时搭载了RK3588处理器芯片;具有高动态和高速工作模式;同时提供标准化二次开发教程与丰富的基础算子接口,用户可以简单开发、高效部署自己的3D视觉AI应用算法。

产品可广泛应用于物流拆码垛、AGV/低速无人车避障、AGV托盘识别对接、工业安全防护、智慧工地、农业收割采摘、智能轮椅、智能安防、客流统计等场景。

1.3 产品与配件尺寸

1.3.1 产品尺寸

1.3.2 转接支架尺寸(仅S版本提供)

1.3.3 转接件安装示意图

1.4 规格参数

产品型号LWP-D322-I
LWP-D322-IS
(标准视野版)
LWP-D322C-I
LWP-D322C-IS
(RGBD版)
LWP-D322W-I
LWP-D322W-IS
(大视野版)
工作原理ToF(Time-of-Flight)深度相机
传感器Sony IMX570
激光器940nm VCSEL*2
*工作距离0.2m~10m
测距精准度±3mm+0.25%*depth
ToF视场角(H x V)70°(±2)*50°(±2)103°(±2)*81°(±2)
RGB视场角(H x V)/71°(±2)*58°(±2)/
RGBD视场角(H x V)/68°(±3)*50°(±3)/
ToF分辨率640*480 dpi
RGB分辨率/1600 ×1200 dpi/
帧率标准模式Max 28fps;高速模式Max 56fps
人眼安全Class1
功能HDR功能普通HDR、高精度HDR
曝光时间0-4000μs曝光时间调整
滤波器支持空间、时域、置信度、飞点多种滤波器设置
输出数据类型Depth、IR、PointCloud、IMUDepth、IR、PointCloud、IMU、RGB(YUV)Depth、IR、PointCloud、IMU
供电供电DC12V-24V
额定功率15W
网络接口M12,8-pin; X-coded; female
*电源与I/O 接口M8,8-pin; A-coded; female
物理*尺寸(L*W*H)108mm x 39mm x 60mm
*工作温度-30℃~65℃
存储温度-40℃~85℃
防护等级IP67
系统支持Windows10及以上/Ubuntu20.04及以上/Ros

*工作距离:默认为 0.2~5m,10m版请联系我司销售人员定制。

*电源与 I/O接口:请保证设备的供电电压在 7-24.8VDC范围内,超出此范围将会影响设备正常启动。

*尺寸:设备主体尺寸。

*工作温度:极限工作温度下可能会影响产品性能,如有此类需求,请先咨询我司技术人员。

1.5 硬件接口

网络接口:M12 X-code母头,适配通用的M12转RJ45的千兆网线

M12 X-code定义对应RJ45线序
PIN1TD1+白橙
PIN2TD1-
PIN3TD2+白绿
PIN4TD2-绿
PIN5TD3+白棕
PIN6TD3-
PIN7TD4+白蓝
PIN8TD4-

电源与IO接口:M8 A-code母头,公司提供标准2.5m电缆

M8 A-code定义颜色
PIN1GND
PIN2VIN
PIN3CANL
PIN4CANH绿
PIN5GPIO_OUT-白   
PIN6GPIO_OUT+
PIN7GPIO_IN-
PIN8GPIO_IN+

1.6 视场角及测量范围

🔷相机坐标原点说明:

  1. X轴坐标原点为图中左侧ToF接收窗口中心位置
  2. Y轴坐标原点为图中左侧ToF接收窗口中心位置
  3. Z轴坐标原点为图中左侧ToF接收窗口平面

🔷标准视野版本测量范围(70°*50°):LWP-D322-I、LWP-D322-IS、LWP-D322C-I、LWP-D322C-IS

距离 (米)水平覆盖范围 (米)垂直覆盖范围 (米)
000
11.230.88
22.461.75
33.692.63
44.923.51
56.154.39
67.385.27
78.616.15
89.847.03
911.077.91
1012.318.79

🔷大视野版本测量范围(103°*81°):LWP-D322W-I、LWP-D322W-IS

距离 (米)水平覆盖范围 (米)垂直覆盖范围 (米)
000
12.461.7
24.933.4
37.405.12
49.876.8
512.348.5

1.7 DM产品距离精准度测试报告

🔷测试方法:随机抽取一台DM产品,测试其在不同反射率、不同工作模式下的距离精度、准度以及平整度数据。

反射率项目频率积分时间帧率模式0.2m0.4m0.6m0.8m1m1.5m2m2.5m3m3.5m4m4.5m5m
90%平整度(mm)120200010单频非HDR3.13.13.83.23.7        
120/10200010双频非HDR2.13.54.84.74.14.93.74.84.24.76.47.08.9
120200010单频HDR3.33.44.85.04.5        
120/10200010双频HDR2.51.03.83.92.12.82.74.24.04.95.27.89.3
1201000-150-205单频高精度HDR3.12.03.31.91.3        
120/101000-150-205双频高精度HDR4.22.74.11.41.92.12.12.93.24.25.35.67.5
准度(mm)120200010单频非HDR-1.50.9-2.71.0-1.3        
120/10200010双频非HDR-1.62.2-0.7-0.91.4-3.1-1.20.83.63.11.49.68.2
120200010单频HDR-2.3-0.5-6.9-2.1-2.4        
120/10200010双频HDR-1.91.0-3.00.62.0-3.20.9-0.22.83.41.69.07.5
1201000-150-205单频高精度HDR-1.4-2.6-5.4-1.3-2.9        
120/101000-150-205双频高精度HDR-2.6-2.3-4.40.3-1.0-5.6-1.5-1.8-0.31.1-1.06.85.1
精度(mm)120200010单频非HDR0.61.11.20.91.0        
120/10200010双频非HDR0.60.91.51.21.21.21.21.21.21.31.51.82.5
120200010单频HDR1.41.31.41.11.2        
120/10200010双频HDR0.80.51.21.20.50.50.51.21.01.41.61.82.4
1201000-150-205单频高精度HDR0.90.60.80.30.3        
120/101000-150-205双频高精度HDR1.30.71.10.40.40.50.60.70.91.01.31.62.4
反射率项目频率积分时间帧率模式0.2m0.4m0.6m0.8m1m1.5m2m2.5m3m3.5m4m4.5m5m
10%平整度(mm)120200010单频非HDR4.53.04.84.43.1        
120/10200010双频非HDR4.23.63.83.93.56.39.716.6     
120200010单频HDR3.71.23.34.13.1        
120/10200010双频HDR5.12.03.22.84.16.110.215.2     
1201000-150-205单频高精度HDR3.12.42.62.52.9        
120/102000-200-203双频高精度HDR3.71.92.11.92.33.24.47.4     
准度(mm)120200010单频非HDR-2.7-1.9-1.61.10.2        
120/10200010双频非HDR-4.81.4-0.1-1.90.8-8.4-3.2-3.6     
120200010单频HDR-4.50.5-0.71.6-0.6        
120/10200010双频HDR-6.35.32.94.52.2-6.0-0.2-1.5     
1201000-150-205单频高精度HDR-4.2-1.0-4.12.3-2.7        
120/102000-200-203双频高精度HDR-3.01.8-0.82.31.7-6.4-0.8-1.6     
精度(mm)120200010单频非HDR1.60.81.71.20.8        
120/10200010双频非HDR1.10.80.91.20.81.72.53.9     
120200010单频HDR0.90.50.90.90.7        
120/10200010双频HDR1.50.50.90.81.01.81.84.0     
1201000-150-205单频高精度HDR0.80.60.60.60.6        
120/102000-200-203双频高精度HDR1.50.40.50.50.60.91.42.1    

🔷DM产品性能测试曲线

🔷随机抽取20台DM产品,在双频、非HDR模式、2000us积分时间条件下,测试产品的性能数据

双频、非HDR、2000us0.2M0.4M0.6M0.8M1M1.5M2M2.5M3M3.5M4M4.5M5M
精度最优0.3700.3810.5800.4420.4050.5170.5310.6670.6850.6830.8580.8751.147
平均值0.4720.5880.7920.6310.5910.6130.7550.7820.7420.7870.9521.0881.331
最差0.6770.7801.1630.9040.8060.6700.9120.9710.8560.9571.0861.2681.591
双频、非HDR、2000us0.2M0.4M0.6M0.8M1M1.5M2M2.5M3M3.5M4M4.5M5M
准度最优-6.887-4.579-6.954-3.086-4.259-2.616-5.211-8.503-7.932-8.850-6.830-8.866-10.138
平均值-1.918-1.125-2.854-0.067-1.0150.925-0.898-3.024-0.200-0.1002.9482.4231.427
最差5.5413.2971.8265.0352.1485.1182.0061.5366.3416.38712.5739.59410.075
双频、非HDR、2000us0.2M0.4M0.6M0.8M1M1.5M2M2.5M3M3.5M4M4.5M5M
平面度最优1.2971.4101.9891.6121.2741.7852.2292.2641.9482.1263.0143.2393.744
平均值1.5882.0002.6402.1432.0682.2782.6862.7002.5152.7063.4533.8104.860
最差1.8102.8543.1532.6262.6683.1873.2963.3863.0973.1374.6174.7855.888

🔷产品测试结果分布范围

🔷产品的测试条件

环境常温室内22℃,周围环境无阳光干扰,采用黑色材料包围,减少反射干扰
目标90%反射板与10%反射板,固定在轨道末端
相机一台DM相机,固定在移动轨道支架上,预热20min后开始测试
采集1m内每隔20cm采集一组数据,1m以上每隔50cm采集一组数据。采集中心像素10*10数据,采集32组计算平均值
滤波飞点:15时域:关置信度:15空间:3
数据平整度:目标板(水平1.5*竖直2m)的平面点云的厚度精度:时域数据标准差准度:测量值与真值的偏差的平均值

2. 快速操作

2.1 产品清单

打开产品包装后,请确认DM T0F相机是否完好,请对照以下清单确认配件是否齐全,若有缺失或损坏,请尽快联系销售人员。

DM ToF相机x1零件包x1
2.5m电源线x1(标配)快操说明书x1
1.5m测试网线x1(选配)合格证x1
DC电源母头x1(5.5*2.1mm)转接支架x1(仅S版本)

注:电缆标配2.5m电源线,M12 X-code转RJ45网线需单独购买(可选1.5m、5m、13m),也可以直接从第三方渠道购买。

2.2 安装前注意事项

  • 使用前请务必取下光窗保护膜;
  • 请检查 2.1产品清单所示设备齐全与否,型号是否适配;
  • 检查安装环境,请勿在潮湿、高温、振动等环境下进行安装;
  • 减少近处高反物体的影响(当相机上/下/前侧,近距离有高反物体时会影响成像效果。建议h>20cm,d>20cm);
  • 用于固定TOF相机的安装底座建议尽可能的平整,避免出现凹凸不平的现象;
  • 在物体检测过程中时,为了保证检测结果的准确性,TOF最小检测距离min应不小于20cm;
  • 检测物体时,请保证TOF相机正对被检测物体,偏转角度不宜过大。避免相机无法覆盖目标的整个检测范围 ,或者导致目标的测量误差增大;
  • 安装底座上的螺丝应严格遵循TOF相机固定孔或转接支架固定孔的规格,螺丝长度可根据底座厚度选择。安装底座的材质建议使用铝合金材质,有助于TOF相机的散热。

2.3 接线步骤

  1. 通过千兆以太网线将ToF相机和电脑端相连。
  2. 通过电源给ToF相机提供12V、5A的电源。
  3. LED指示灯亮绿灯,显示成功通电。

2.4 网络配置

  1. ToF相机默认地址为192.168.1.200,可以通过上位机更改默认IP地址。
  2. 接收数据前,请选择以太网,选择Internet协议版本4(TCP/IPv4),将电脑端IP地址和TOF相机IP地址设置在同一网段。

3. 上位机使用说明

3.1 概述

LuminViewD是基于DM SDK开发的图形界面工具,提供 Depth 图像彩色映射显示、3D 点云显示、滤波参数调节、设备参数设置等功能。以下介绍为软件全功能介绍,在不同的设备中可能会有些部分不可见,如所有RGB相关的显示和操作仅在连接带RBG的设备上使用。如果使用过程中发现一些奇怪的现象可跳转至注意事项查阅是否有相关介绍。

3.1.1 支持设备

目前支持LuminViewD的产品有:DM所有产品

3.2 软件安装及设备连接

通过官网或联系洛微技术人员获取

3.2.1 推荐系统配置

配置项推荐配置
操作系统Win10 64位 / Win11 64位
内存8g以上

3.2.2 目录结构

软件目录:LuminViewD.exe为上位机软件的可执行程序,firewareUpdateTool-v1.0.5.exe为固件更新小程序,vc_redist.x64.exe为vc++的运行环境安装工具

3.2.3设备连接

  • 设备最低支持千兆网口和网线。软件仅支持64位系统
  • 固定地址连接可以设备与电脑直连,也可以配置在同一网段的交换机中使用
  • 直连:一端连接设备,另一端连接PC主机的网线接口。设备默认IP网段为192.168.1.200,在PC端将“本地连接”的子网掩码设置255.255.255.0,IP地址设为同一网段(如192.168.1.123)

3.2.4 数据获取

  • 设备接上电源之后,将电脑与设备相连的网口改到和设备同一网段,设备默认IP一般是192. 168.1.200,修改好后打开LuminViewD.exe等待设备变为绿灯后点击搜索设备,会出现如下情况。
  • 然后单击开始,即可看到相应的图像,左边基础展示的下拉框切换显示的数据。

3.3 功能介绍

3.3.1设备列表

  • 设备列表用于设备的搜索与连接,同一时间只支持单一设备的连接和操作。
  • 搜索设备
  • 选择设备
  • 点击开始打开设备并获取设备数据

3.3.2 数据显示区

3.3.2.1显示区操作说明
  • 深度图:可以通过鼠标点击查看某一个像素点的深度值。左下角显示的是当前像素的xyz,右下角为渲染帧率。
  • 深度图的颜色和显示范围由最大最小色彩映射距离决定。
  • 鼠标左键点击选取像素点,滚轮放大或缩小图像。
  • 当图像大于显示范围了鼠标右键拖动图像,双击图像全屏显示,再次双击还原。
  • IR图:可以通过鼠标点击查看某一个像素点的灰度值,左下角显示的是当前像素的灰度值,右下角为渲染帧率。
  • 曝光时间和gamma值都会影响到IR图的亮度。
  • 鼠标左键点击选取像素点,滚轮放大或缩小图像。
  • 当图像大于显示范围了鼠标右键拖动图像,双击图像全屏显示,再次双击还原。
  • RGB图:可以通过鼠标点击查看某一个像素点的RGB值,左下角显示的是当前像素的RGB值,右下角为渲染帧率。
  • 鼠标左键点击选取像素点,滚轮放大或缩小图像。
  • 当图像大于显示范围了鼠标右键拖动图像,双击图像全屏显示,再次双击还原。
  • 点云图:用于3D点云渲染。
  • 左边为颜色映射近处为红色,远处为蓝色。
  • 鼠标左键拖动,鼠标滚轮滚动放大缩小,按住滚轮拖动整个视图平移。
  • 下图的图标分别为正视图,左视图,俯视图,单击切换视图。

3.3.3 操作区 

菜单栏

实时预览框

右侧的操作区,这些功能主要用于:

  • 设备IP更新
  • 网络协议
  • 固件更新
  • 界面显示控制设备的工作模式和参数
  • 设置算法
  • 保存等相关功能设置

操作区主要有以上三个部分,分别是菜单栏,实时预览框和右侧的操作区。

3.3.3.1 菜单栏
  • 网络部分只有设备网络设置
  • 此窗口用于设备的IP设置,使用此选项之前注意需要先停止设备数据流输出,如果设备是连接在路由器上使用并通过路由器动态分配IP可勾选DHCP选项直接更新即可。
  • 软件是三段式结构,这里视图中的两个选项分别用于左侧管理面板和右侧控制面板的显示和隐藏
  • 配置更新:用于更新设备固件点击后弹出文件夹窗口,在停止数据流输出后选择到需要更新的固件点击打开即可
  • 导入配置:用于导入界面的配置,rgb设备的配置文件名为rgbconfig,纯tof则是config。
  •  导出配置:将当前的界面配置参数导出为配置文件,rgb设备导出rgbcofig,tof则为config。
  •  设备配置初始化:还原设备的配置为设备最初的配置。
  •  设备初始化:设备会恢复到出厂状态,包括IP等都会还原。
  •  界面默认配置:会将界面部分参数设置为经测试后的较好的效果的参数。
  • 如果窗口更新失败,尝试重新更新,如果一直不行,请联系洛微技术人员,如果更新成功调试信息弹出以下信息。
  • 更新完毕后可断开设备重新搜索然后连接设备查看。
  • 软件支持中文和英文显示切换,切换后会自动保存,下次开启软件为上次退出时的语言。
3.3.3.2设备信息
  • SDK:该软件使用的sdk版本
  • Model:设备型号
  • SN:设备SN号
  • IP:设备的IP
  • FW:设备上的固件版本
  • DV:设备上的驱动版本
  • Temp:芯片温度
  • XYZACC:IMU的三轴加速度原始数据
  • XYZGYRO:IMU的三轴角速度原始数据

注意:温度和IMU的六轴原始数据在只显示rgb数据的模式下是无法更新的,在含有tof数据模式下可正常更新。

3.3.3.3实时预览

实时预览分为基础展示和功能展示。

可设置五种数据模式。

IMU开关可用于点云显示的不同展示方式,在点云获取的时候可启用。

🔷功能展示:该处三个功能只能在上述基础展示中的DEP+RGB模式下可用

深度->RGB:将深度映射到RGB,深度分辨率扩展到和RGB一样。

RGB->深度:将RGB映射到深度,RGB分辨率会缩小到和深度一致。

RGB->点云:该模式只能在开启上述两种模式中的一种才能使用,使用后点云将会附上rgb颜色。

注意:深度->RGB模式会消耗较多资源,会伴随帧率下降。

3.3.3.4 调试信息
  • 调试信息窗口是记录一些对设备的操作信息,白色字体为操作内容,绿色为成功,红色为失败,可以通过红色错误信息来定位某个操作失败。
  • 最下方的这两个图标按钮分别是清空窗口内容和将窗口内容保存到当前文件夹下时间戳-info.log文件中。

注意:这里报出红色信息仅仅只是某个操作的反馈并不代表设备出现问题,由于数据量大,网络带宽占满,或者网络断开,设备断电,触发模式切换,断开等耗时的操作都可能会出现红色的提示信息,信息内容可能是设备断开,网络出现问题,当前帧数据未准备好等,具体情况根据现场使用情况和调试信息加以分析。

3.3.3.5 目标列表
  • 用于托盘信息或其他应用算法输出展示。
3.3.3.6 常规配置

四种抓拍模式

  • 正常模式:以设定的帧率情况下,获取实时数据信息。
  • 软件触发:通过点击软件触发,获取当前帧数据。
  • 硬件触发:外部硬件触发。
  • 带滤波硬件触发:可设置触发时间间隔以响应对应的外部触发信号。

注意:抓拍模式的切换十分耗时需等待三到五秒切换完成后再操作

频率模式:

  • 双频模式:为全距离段使用,使用20Mhz+120Mhz最高频率28fps
  • 单频模式:适用于近距离不超过1.25m的场景,适用120Mhz最高帧率56fps

HDR模式:

  • HDR模式一共有三种模式,分别是关闭HDR,普通模式,高精度模式。
  • 普通模式:相机通过捕捉3帧高中低不同曝光时间的图像做融合,使相机在高低反同时存在的场景中,可以保证较高的成像质量。
  • 高精度模式:高精度模式在普通HDR的基础上,增加了3帧高曝光时间图像的融合,最终通过6帧图像的融合输出1帧,使图像的精度进一步提升。

手动自动:

  • 用于控制TOF的曝光模式,自动模式下曝光时间和帧率不可手动调整。

曝光时间和帧率设置:

  • 单双频、数据类型、曝光时间、HDR模式等都会影响帧率。
  • 最高帧率为56fps(单频 仅获取IR数据) 双频最高28帧率。
  • 开启普通HDR后为当前帧率的1/3,开启高帧率HDR为当前帧率的1/6。
3.3.3.7 图像设置
  • 图像设置只要用于图像显示控制和RGB图像设置
  • 最大色彩映射距离和最小色彩映射距离用于限制深度数据的范围,只有在这两个数值的范围内才能在深度图上显示,深度图的颜色由近到远的颜色映射为从红到蓝色

注意:如果最大色彩映射距离和最小色彩映射距离是一样的,深度图就会没有显示,点云全部是红色

  • 深度补偿:用于在原始深度值上加上一个补偿值,消除由于最远距离限制导致的折返
  • IR伽马值:用于调整灰度图的亮度
  • RGB手动和RGB自动用于切换RGB的曝光模式,在自动下RGB曝光时间不可调整。

注意:在自动曝光切换到手动曝光之后等待3秒再重新设置曝光时间和增益才会生效。

  • RGB增益用于调整RGB图像的亮度,注意:在自动切换到手动之后等待3秒再设置曝光时间和增益才会生效。
3.3.3.8 滤波设置
  • 滤波设置一共有四个滤波,时域滤波、空间滤波、飞点滤波、置信度滤波,所有滤波都只针对于TOF数据,滤波默认配置会调节到一个经测试后比较合适的滤波效果。
  • 设置时域滤波:时域滤波分为中值和均值两种,均值滤波对点云的稳定性影响更大,中值档位范围为1-4,均值档位2-28,档位越大,点云稳定程度越高,测距重复精度越高。
  • 设置空间滤波:用于消除空间中椒盐类噪点,可以设置挡位,档位范围为1-3,档位越高,平滑效果越好。
  • 设置飞点滤波:剔除物体边缘异常点,可以调节阈值。档位范围1-64,阈值越大,飞点滤除程度越高。
  • 设置置信度滤波:用于消除图像中的强度较低的点,小于强度阈值的点不参与计算,可以调节阈值。档位范围1-150阈值越大,保留越可信的数据。
3.3.3.9 保存
  • 储存配置:该按钮用于将当前的设备参数储存在设备中。
  •  保存路径:该按钮用于选取保存图像数据的路径,选取路径之后后面的单帧保存和连续保存才能正常使用,后续的单帧保存和连续保存都是在选定的路径加上时间戳命名的文件夹内。
  •  单帧保存:点击该按钮会保存一帧数据,注意只能在开启数据流且有数据刷新的的情况下才能保存,具体的保存数据类型取决于选取的基础展示模式。
  •  开始保存:点击该按钮之后会进入一个连续保存的状态,一直保存数据,在保存数据时显示帧率会有所下降,同样的需要在开始数据流且有数据刷新的情况下使用,具体的保存数据类型取决于选取的基础展示模式,模式中有哪些数据就会保存哪些。
  •  结束保存:点击该按钮之后会停止保存。

🔷不同模式保存的数据如下所示

如上是各种模式下会保存的数据,csv是图像原始数据,png是渲染出来的图像数据,yuv是rgb的原始数据,ply是点云数据。

本页内容