D系列RGBD相机用户手册-CH

1. 产品介绍

1.1 产品名称

洛微科技D系列RGBD相机产品。

1.2 产品概述

产品在3D TOF相机的基础上,结合RGB模组,构成RGB-D深度相机产品。产品可实现RGB图像与TOF图像的微秒级同步输出,准确捕获物体三维数据。
产品具备毫米级测量精度,支持RGB模式,支持点云和RGB对齐,可满足复杂环境应用要求,不受环境光干扰,可广泛应用于物流自动化、移动机器人、工业安全防护和客流统计等应用场景。

1.3 规格参数

产品型号LWP-D301CLWP-D302C
工作原理TOF
传感器Sony DepthSense® TOF IMX570
激光器940nm VCSEL*2
工作距离0.4m~5m
测距精度<1% (@2m ≤5mm)
TOF视场角(H x V)70° x 50°,最大可定制103° x 81°
RGB视场角(H x V)70° x 50°
TOF分辨率640 x 480 pixel
RGB分辨率1600 x 1200 pixel(全局曝光)
帧率Max.30 fps
人眼安全Class 1
功能HDR功能支持
曝光时间支持
多种滤波器设置支持
输出数据格式RAW12(深度图、IR图、点云)+RGB
RGB/TOF 时间同步微秒级同步
供电供电12V DC
功耗<10W
网络接口RJ45 1000M Ethernet航插:8 pin*M12  X-code
电源接口6.4mm DC航插:8 pin*M12  A-code
物理尺寸 ( LxWxH )*116mm x 76mm x 75mm
重量693g706g
工作温度-20℃ ~ 50℃
存储温度-30℃ ~ 70℃
防护等级IP42IP67
操作系统Windows 10及以上 / Linux

1.4 硬件结构 | 接口介绍 LWP-D301C

网络接口:RJ45千兆以太网线*
电源接口:12V DC、5A 电源线
6pin接口:控制线,接口定义如下

6pin接口定义及规格示意图

*使用错误带宽的网线(如百兆网线)会影响检测数据结果

1.4 硬件结构 | 线缆介绍 LWP-D301C

网线:标配2m RJ45千兆以太网线,规格图纸如下

双RJ45千兆以太网线规格示意图

电源线:标配2m DC 12V电源线,线缆定义及规格图纸如下

DC 12V 电源线规格示意图

电源接口:8 pin*M12 A-code,接口定义如下

控制线线缆排布与规格示意图

1.4 硬件结构 | 接口介绍 LWP-D302C

网络接口:8 pin*M12 X-code,接口定义如下

电源接口:8 pin*M12 A-code,接口定义如下

1.4 硬件结构 | 线缆介绍 LWP-D302C

网线:标配1.5m M12 8pin 航插转RJ45千兆网线。规格图纸如下:

航插转RJ45千兆网线规格示意图

*5m线缆为独立配件,需单独购买,网线型号LWA-CME1232-05

电源线:标配1.5m M12 8pin 航插电源线 。线缆定义及规格图纸如下

航插多功能线线缆定义及规格示意图

*5m线缆为独立配件,需单独购买电源线型号LWA-CFP1231-05

1.5 视场角及测量范围

相机的原点说明
a) X 轴坐标原点位于相机左光窗中心位置;
b) Y 轴坐标原点位于相机左光窗中心位置;
c) Z 坐标原点位于相机光窗平面。

测量范围

1.6 复位键及指示灯

复位键
LWP-D301C产品可用背面复位键恢复出厂设置
在相机供电状态下,长按按键5秒以上,LED 红灯快速闪烁后亮起绿灯,表示复位成功。

LED指示灯
a) 绿灯亮:成功通电
b) 黄灯亮:数据采集
c) 红灯亮:出现故障

LWP-D301C
LWP-D302C

2. 快速操作

2.1 产品清单 | LWP-D301C

2.1 产品清单 | LWP-D302C

2.2 安装 | 安装前注意事项

使用前请务必取下光窗保护膜;
请检查 2.1产品清单 所示设备齐全与否,型号是否适配;
检查安装环境,请勿在潮湿、高温、振动等环境下进行安装;
用于固定该3D相机的安装底座建议尽可能的平整,避免出现凹凸不平的现象;
在物体检测过程中时,为了保证检测结果的准确性,最小检测距离dmin 应不小于40cm,如下图所示;

俯视图
侧视图

2.2 安装 | 安装前注意事项

检测物体时,请保证该3D相机正对被检测物体,偏转角度不宜过大。避免相机无法覆盖目标的整个检测范围,或者导致目标的测量误差增大;
安装底座上的螺丝应严格遵循3D相机固定孔深度3.5mm,螺丝长度可根据底座厚度选择。安装底座的材质建议使用铝合金材质,有助于相机的散热;
该3D相机安装的时候,如果是上下面都有接触式的安装面,请确保安装面之间的间距大于3D相机的高度,避免挤压3D相机,注意与该3D相机接触的基准面不要超过相机前面板,如下右图所示。
使用前,请务必取下光窗保护膜,如下左图所示

2.2 安装 | 推荐安装

螺钉规格:M3*8pcs(可根据底板厚度加装垫片调整,实际安装时,螺丝最后用4pcs或8pcs,可自行评估决定)
螺丝扭矩:建议扭矩3.5~5.0kg-cm
推荐以下安装方式:

底座安装

2.3 接线 | 接线步骤 LWP-D301C

a) 使用前请取下光窗保护膜
b) 通过千兆以太网线将该3D相机与电脑端相连
c) 通过电源线及电源适配器给相机提供12V、5A的电源
d) LED指示灯亮起绿灯,显示成功通电

2.3 接线 | 接口示意 LWP-D301C

连接/断开网线或电源线时,请确保设备处于断电状态。如需在通电状态下操作,请先进行静电释放,且避免用手直接接触接插件。

2.3 接线 | 接线步骤 LWP-D302C

a) 使用前请取下光窗保护膜
b) 通过航插转RJ45千兆网线将3D相机与电脑端相连
c) 通过航插多功能线及电源适配器给相机提供12V、5A电源
d) LED指示灯绿灯亮,显示成功通电

2.3 接线 | 接口示意 LWP-D302C

网线连接/断开

注一:断开或连接时,请确保设备处于断电状态。如需在通电状态下操作,请先进行静电释放,且避免用手直接接触接插件。
注二:使用设备时,请勿调整或用力拉拽设备航插接口或网线接口(如下图所示),以免造成设备接口或线缆松脱,影响正常使用。

2.3 接线 | 接口示意 LWP-D302C

电源线连接/断开

注1:断开或连接时,请确保设备处于断电状态。如需在通电状态下操作,请先进行静电释放,且避免用手直接接触接插件。
注2:使用设备时,请勿调整或用力拉拽设备航插接口或电源线接口(如下图所示),以免造成设备接口或线缆松脱,影响正常使用。

2.4 网络配置

3D相机默认IP地址为192.168.1.200,可以通过上位机软件LuminViewD更改默认IP地址。
接收数据前,请选择以太网,选择Internet 协议版本4(TCP/IPv4),将电脑端 IP 地址和3D相机IP地址设置在同一网段。

a) 打开“网络和Internet设置”;
b) 选择“更多网络适配器选项”,双击以太网,弹出对话框;
c) 选择“属性”,双击“Internet 协议版本4 (TCP/IPv4)”进行IP地址设置;
d) 电脑端IP地址需要与3D相机设置在同一网段;
e) 电脑端子网掩码设置为 255.255.255.0;

3. 上位机软件使用

3.1 上位机简介

3.1.1 上位机用途

本上位机用于实时显示计算机与3D相机连接后的画面及数据,用户可通过上位机获取点云,深度图、IR图、RGB及数据,方便后期使用。

3.1.2 上位机获取及升级

请访问洛微科技官网https://docs.luminwave.com.cn/software-and-manual/下载,或联系销售人员获取。

3.1.3 运行环境

默认版本在Window 10(64位)及以上环境中操作,如有其他版本需求请联系洛微科技销售人员。

3.1.4 使用前须知

a) 上位机每次运行时,请先点击搜索设备,点击连接后连接设备。
b) 若是直连设备,请将本机电脑的IP类型置为静态,且网段与设备保持一致,否则将无法进行网络通讯。
c) 若设备通过路由器进行连接,则本机电脑也需连接到该路由器上,即可进行通讯。
d) 不要高频次的点击按钮,在处理耗时任务时,程序会有些许延时。
e) 若在软件触发模式下开启了自动曝光,需要等待一定时间,再点击“触发”按钮。
f) 切换场景时点云未正常更新,可任意点击点云视图切换按钮,更新点云。
g) 结束操作时,请先断开设备连接,关闭上位机软件,再断开电源线、网线或航插线。

3.2 设备使用 | 连接/断开

连接前后显示状态

连接前,请按本说明 2.4网络配置 正确配置IP地址
3D相机默认IP地址为192.168.1.200,可以通过上位机软件LuminViewD更改默认IP地址

网络配置:

  1. 打开“网络和Internet设置”;
  2. 选择“更多网络适配器选项”,双击以太网,弹出对话框;
  3. 选择“属性”,双击“Internet 协议版本4 (TCP/IPv4)”进行IP地址设置;
  4. 电脑端IP地址需要与3D相机设置在同一网段;
  5. 电脑端子网掩码设置为 255.255.255.0;

a) 解压上位机软件包,在解压文件夹下找到可执行文件:LuminwaveD ,双击打开软件;
b) 点击 “搜索设备”按钮;
c) 查找到一台设备,左下角显示“已搜索到设备”,“搜索设备”按钮下显示IP地址(此时设备默认的IP地址为192.268.1.200);
d) 点击“开始”按钮连接设备;
e) 成功连接后,设备信息栏会显示当前3D相机的设备信息,此时LED指示灯由绿色转为黄色,表示数据正在获取中;
f) 成功连接后,显示相应的深度图、IR图、RGB、点云。
g) 点击“停止”按钮暂停数据获取,此时LED指示灯由黄色转为绿色
h) 点击“断开”按钮断开设备连接,此时LED指示灯由黄色转为绿色

3.2 设备使用 | 设备升级

固件更新操作路径
完成固件更新

a) 点击“搜索设备”
b) 设备信息栏成功显示设备IP地址后,点击菜单栏“配置”—“更新”,导入所需的固件更新包
c) 弹出“更新完成”对话框后,等待设备LED指示灯的绿灯重新亮起,表示固件更新完成
d) 点击“开始”按钮,开始正常使用设备

3.2 设备使用 | 配置导出/导入

成功导出配置
成功导入配置

导出配置

a) 设备正常运行时可操作
b) 点击菜单栏“配置”—“导出配置”,选择需要保存的路径
c) 弹出“已成功导出配置”对话框,表示配置导出成功

导入配置

a) 设备“停止”运行时操作
b) 点击菜单栏“配置”—“导入配置”,选择之前保存路径下的配置文件config
c) 弹出“已成功导入配置”对话框后,表示配置导入成功

3.3 主界面介绍

主界面

上位机( LuminViewD)软件主界面由以下板块组成:

  • 菜单栏
  • 管理面板
  • 图像显示界面
  • 控制面板

其中,管理面板主要由设备信息栏组成。

3.3 主界面介绍 | 设备信息

设备信息

设备信息

Model:显示当前设备型号
SN:显示当前设备SN号
IP:显示当前设备IP
FW:显示当前设备固件版本号
DV:显示当前设备驱动版本

3.3 主界面介绍 | 面板操作

隐藏管理面板
隐藏控制面板

隐藏/显示管理面板、控制面板

a) 点击主界面菜单栏“视图”
b) 选择隐藏/显示管理面板、控制面板

3.4 功能介绍 | 更改IP地址

设备网络更新 对话框

更改设备默认IP地址

a) 设备正常运行时,点击“停止”按钮,设备暂停数据获取
b) 选择主界面菜单栏“网络”按钮
c) 选择“设备网络设置”选项
d) 在弹出的“设备网络更新”对话框中填写想要更改的IP地址
e) 点击“更新”按钮更新默认IP地址
f) 弹出“更新成功”对话框,表示默认IP更新成功
g) 点击“断开”按钮,断开设备连接
h) 等待LED指示灯重新变绿后,再次点击“搜索设备”,此时默认的IP地址就变更为更改后的IP地址
注1:DHCP可为多个3D相机自动分配IP地址,只在连接交换机时可勾选
注2:始终保持设备IP地址与电脑端IP地址在同一网段

3.4 功能介绍 | 查看图像

图像显示界面

查看实时深度图、IR图、rgb

a) 可双击画面或点击“⚃”显示/关闭全屏。
b) 点击随意位置查看数值,画面中显示为 符号,左下角为数值。
深度图左下角数值为该点击位置的实时像素点的深度值,单位为mm;
IR图中左下角数值为灰度值,数值0~255;
rgb图中左下角数值为rgb(r,g,b)颜色值,数值0~255。
c) 右下角数值均为实时帧率信息,单位为fps。
d) 滑动鼠标滚轮放大/缩小图像,长按拖动鼠标右键拖拽图像。
e) 点击“X”关闭深度图/IR图/rgb图像显示。

图像显示界面

查看实时点云

a) 双击画面或点击“⚃”显示/关闭全屏。
b) 鼠标左键拖动或选择视角按钮查看点云视角。
视角按钮:选择所查看的点云视角,分别为正视图/侧视图/俯视图
三维坐标:三维坐标,跟随点云视角自动变化
c) 滑动鼠标滚轮放大/缩小图像。
d) 按压滚轮拖动平移点云。
e) 鼠标左键+Ctrl,旋转调整点云。
f) 点击 关闭点云图像显示。

3.4 功能介绍 | “常规配置”模块

常规配置-正常模式
常规配置-硬件触发
功能配置-软件触发
功能配置-硬件延时触发

抓拍模式:有以下四种触发模式可选,“触发”按钮只在软件触发模式下可点击
a) 正常模式:实时连续获取数据
b) 软件触发:每点击“触发”按钮,获取一帧数据
c) 硬件触发:发送硬件触发信号获取一帧数据
d) 硬件延时触发:发送固定周期的硬件触发信号,获取连续帧数据,以左图为例,1000us内,以252ms的间隔获取连续帧数据,点击”设置时间间隔”按钮后生效。

曝光设置
最大曝光时间与帧率关系表

手动曝光:手动调节曝光时间。
手动模式下可在方框内输入数值(回车确认)或拖动进度条更改以下参数:
a) 曝光时间(us):即积分时间,代表激光器的开启时间。可设定的最大曝光时间与帧率有关,详情可见左表;
b) 帧率设置:可在方框内输入数值(回车确认)或拖动进度条更改该参数,改变帧率会相应改变最大曝光时间。

自动曝光:根据周围物体距离、设置的的帧率数值自适应最佳曝光/积分时间,以免近距离过曝。近距离物体越多,曝光时间越低。
HDR模式:开启该功能后可对长曝光时间下过曝的区域自动设置大小两种曝光时间,将这两者数值进行合成,获得更加精确的深度图像。
高帧模式:最高可达30fps
注:HDR模式、高帧模式下无法开启自动曝光

3.4 功能介绍 | “图像设置”模块

不同IR伽马值下IR图
相同距离下不同色彩映射值下深度图

可在方框内输入数值(回车确认)或拖动滑动条更改以下参数:
最小色彩映射距离:最小显示距离,可对深度图、点云设置颜色映射范围,数值范围200~15000mm,最小步长1mm,最小色彩映射距离的数值需小于最大色彩映射距离。
最大色彩映射距离:最大显示距离,可对深度图、点云设置颜色映射范围,数值范围200~15000mm,最小步长1mm。
IR伽马值:设定IR图像增益,数值越高,IR图越亮,数值范围0~255。
注:需根据实际设备工作距离选择响应最大色彩映射距离

RGB自动
RGB手动

手动模式下可在方框内输入数值(回车确认)或拖动进度条更改以下参数

  • RGB手动:手动调节曝光时间。
  • RGB曝光时间:用于调整照射到RGB传感器上的入射光量,数值0~50000,数值越高,入射光亮约多。
  • RGB自动:根据周围光线强度自适应最佳曝光时间,以免过曝。周围环境光线越强,曝光时间越低。
  • RGB亮度:可在方框内输入数值(回车确认)或拖动进度条更改该RGB画面亮度,数值1~128。
  • RGB对比度:可在方框内输入数值(回车确认)或拖动进度条更改该RGB画面对比度,数值100~500。

3.4 功能介绍 | “滤波设置”模块

滤波设置

可在方框内输入数值(回车确认)或拖动进度条更改时间滤波、飞点滤波、置信度滤波参数。
可通过勾选选择以下几种滤波处理方式:

  • 空间滤波:点云平滑处理,可选择数值1或2,数值越大,点云越平整
  • 时间滤波:用于调节探测距离的稳定度,检测动态物体时建议关闭。可调节阈值,数值范围1~5,默认值为3,数值越大,距离值变动范围越小,默认关闭
  • 飞点滤波:剔除物体边缘异常点,可调节阈值,数值范围1~63,默认值为15
  • 置信度滤波:剔除相对不准确的距离点,可调节阈值,数值范围1~150,默认值为15
  • 默认配置:一键恢复设备默认滤波设置,默认配置下时间滤波不勾选。若此时是手动曝光模式,恢复默认曝光时间和帧率设置。

3.4 功能介绍 | “保存”模块

图像设置
保存路径
  • 保存路径选择:点击可自定义保存路径,如左图所示。文件名默认为时间戳,可分别勾选深度图、IR图、rgb、点云进行保存。
  • 单帧保存:点击保存当前帧数据,保存为之前指定文件夹下以时间戳命名的文件夹中,保存有图片文件(.png格式)、数据文件(.csv格式,点云为.pcd格式)、数字视频文件(.yuv格式),数据文件保存为当前帧的数据。
  • 连续保存:点击选择保存一段时间内的每一帧的数据,保存为之前指定文件夹下以时间戳命名的文件夹下,保存有图片文件(.png格式)、数据文件(.csv格式,点云为.pcd格式)、数字视频文件(.yuv格式),数据文件保存为当前帧的数据。

3.4 功能介绍 | “实时浏览”模块

实时浏览

基础展示
深度图、IR图、点云、RGB:通过勾选选择在图像显示界面显示深度图、IR图、点云、RGB。

功能展示
通过勾选选择在图像显示界面展现以下效果
a) 深度映射RGB:勾选后RGB图界面附带深度信息。
b) RGB映射深度:勾选后深度图界面附带RGB信息。
c) RGB映射点云:勾选后点云界面附带RGB信息。

RGB映射深度+RGB映射点云
深度映射RGB+RGB映射点云

3.4 功能介绍 | 数据保存及说明

数据保存
a) 选择保存设置中的“单帧保存”或“连续保存”,选择想要保存的文件位置。
b) 勾选想要保存的深度、IR、点云数据。
c) 点击相应保存按钮保存当前帧数据。
注1:勾选的数据文件保存在设定好的路径下,文件名默认为时间戳。保存格式为.png格式(图片文件)、.csv格式(数据文件)及.pcd格式(点云数据文件)。

数据格式说明
a) IR数据:数据传输方式为:从左至右,从上到下传输,共480行,640列数据。对应横纵位置的真实值幅度,数据类型为:unsigned short,因此一个像素点占2个字节大小。
b) 深度数据:数据传输方式为:从左至右,从上到下传输,共480行,640列数据。对应横纵位置的真实值距离,距离数据单位为 mm,数据类型为:unsigned short,因此一个像素点占2个字节大小。

4. SDK支持

洛微科技D系列RGBD相机SDK软件包支持Windows / Linux 操作系统,详细如下所示。
如需相应SDK软件包,请联系洛微科技销售人员。

Windows
a) 针对x86_64处理器开发的Windows SDK 软件包,使用标准编译器 VS2020;
b) 支持Window10及以上版本。

Ubuntu 18.04*
a) 针对x86_64处理器开发的Ubuntu 18.04 SDK 软件包,使用标准编译器x86_64-linux-gnu(v7.5.0)。

Ubuntu 20.04*
b) 针对x86_64处理器开发的Ubuntu 20.04 SDK 软件包。

5. 存储与运输

存储
a) 请将产品存放于通风干燥无尘环境中,建议存放温度 -30~70℃。
b) 严禁将产品暴露在有毒有害及腐蚀性的环境中,以免损坏或削弱产品功能。
c) 保存时请轻拿轻放,切勿摔落产品。
d) 对于存储时间过长的,请定时检查外观与接口,避免使用时出现异常。

运输
a) 运输前,请仔细检查产品外包装是否完好。
b) 超过允许范围的机械冲击或振动可能导致产品受损。应采用防震包装材料包装产品,以避免运输途中损毁。
c) 运输过程中请务必小心轻放,切勿磕碰、撞击或摔落产品。
d) 请确保包装箱内干燥清洁、无水汽。

6. Q&A

故障现象解决办法



设备无法连接
检查接线是否正常,LED指示灯正常并亮绿灯确认上位机、测试电脑IP地址是否正确且在同一网段查看本机IP设置是否正确:在命令提示符窗口输入“ipconfig”并回车,如果是设备直连,查看以太网是否为“192.168.1.x”网段,如果是通过局域网例(如wifi连接),则查看无线局域网是否为“192.168.1.x”网段如果网络设置正常且能 ping 通设备,则重启一下设备确认与电脑端直连需要更改默认IP地址时,是否勾选了DHCP选项,会造成设备连接不上的情况发生
Window10下打开程序报错(错误代码:0xc000007b)下载onnxruntime.dll系统库文件,添加到LuminViewD文件下,重新启动程序
TCP连接超时1、开关重启后等待30s后开启上位机
工作过程掉线1、排除接线松动等问题后,请联系洛微工作人员



界面卡顿
查看是否采集的数据异常,若采集的数据出现异常,会导致程序的解析模块出现异常,造成可视化模块出现计算耗时以致界面播放卡顿,保存采集数据,查看其值是否异常。确认是否开启了不必要的服务,若是电脑服务开得太多,也会造成卡顿现象,请在使用本程序前关闭不必要的服务请确认USB转接网口为3.0输入口请确认网线及网口是否为千兆网线若问题依旧存在,请重启上位机

出现“未找到设备”对话框
1、检查接线是否正常2、可能是操作频次太快,稍等一会,重新点击“搜索设备”进行连接3、请确认电脑端USB转接网口为3.0输入口
设备连接后,图像显示界面黑屏,并未出现深度图、IR图、点云1、请确认电脑端USB转接网口为3.0输入口2、查看“抓拍模式”是否设置成了“软件触发”模式

附录1 反射率参照表

材料反射率
黑色布料3%
黑色橡胶4%
不透明黑色塑料14%
干净粗木板20%
木塞35%
透明塑料杯40%
干纸巾47%
报纸55%
不透明塑料杯60%
包装箱硬纸板68%
啤酒泡沫70%
洁净松木70%
人的手掌心75%
不透明白色塑料87%
白画纸90%

附录2 结构图纸

产品型号:LWP-D301C

产品型号:LWP-D302C

附录3 版本信息

序号 版本号修改内容修改日期
1Rev1.0.0首版发布2024.4.10
本页内容