1. 环境准备搭建OpenCalib开发基础搞激光雷达和相机联合标定环境配置是第一步也是最容易踩坑的环节。我去年在部署自动驾驶项目时就遇到过各种环境冲突问题后来发现用Docker能省去80%的麻烦。OpenCalib官方提供了预配置的Docker镜像这对新手特别友好。先确保你的机器已经安装好Docker引擎。如果是Ubuntu系统用下面这条命令就能搞定sudo apt-get update sudo apt-get install docker.io接着拉取官方镜像这个镜像已经包含了大部分基础依赖sudo docker pull scllovewkf/opencalib:v1启动容器时有个关键细节要注意——目录映射。我习惯把项目代码放在宿主机的/home/username/calib_workspace这样启动命令就是docker run -it -v /home/username/calib_workspace:/share scllovewkf/opencalib:v1 /bin/bash提示如果遇到权限问题可以在命令前加sudo或者把当前用户加入docker组进入容器后你会看到一个完整的Ubuntu环境。我建议先做个基础检查cmake --version # 应该显示3.16 pkg-config --modversion opencv # 检查OpenCV版本2. 核心组件安装一步步构建lidar2camera模块2.1 基础依赖安装虽然Docker镜像已经包含大部分依赖但有些组件可能需要更新。比如Eigen3官方镜像里的版本可能比较旧我推荐手动安装最新版git clone https://gitlab.com/libeigen/eigen.git mkdir eigen_build cd eigen_build cmake .. make installPCL点云库的安装要注意版本兼容性。有次我用apt直接安装导致标定结果漂移后来发现是版本问题。稳妥的做法是sudo apt-get install libpcl-dev pcl-tools2.2 Pangolin可视化工具这个用于标定过程的可视化交互安装时容易漏掉依赖。先装这些前置包sudo apt-get install libglew-dev libboost-dev libgl1-mesa-dev然后从源码编译git clone --recursive https://github.com/stevenlovegrove/Pangolin cd Pangolin mkdir build cd build cmake -DCPP11_NO_BOOST1 .. make -j8注意-j8表示用8个线程编译根据你CPU核心数调整2.3 lidar2camera模块编译终于到主角了先把代码clone到之前映射的/share目录cd /share git clone https://github.com/PJLab-ADG/SensorsCalibration.git重点来了编译前要设置正确的Python环境。我在三个项目上都踩过这个坑mkdir -p SensorsCalibration/lidar2camera/build cd SensorsCalibration/lidar2camera/build cmake -DPYTHON_EXECUTABLE$(which python3) .. make -j4如果看到-- Configuring done和-- Generating done就成功了一大半。最后生成的二进制文件会在build/bin目录下。3. 实战标定从数据准备到结果验证3.1 准备标定数据你需要准备四类数据相机图像如0.png点云数据如0.pcd相机内参JSON文件初始外参JSON文件我整理了个标准目录结构供参考data/ ├── images/ # 存放*.png ├── pointclouds/ # 存放*.pcd └── calib/ ├── intrinsic.json └── init_extrinsic.json3.2 运行标定程序进入编译好的目录执行cd /share/SensorsCalibration/lidar2camera/build ./bin/run_lidar2camera \ ../data/images/0.png \ ../data/pointclouds/0.pcd \ ../data/calib/intrinsic.json \ ../data/calib/init_extrinsic.json程序启动后会显示GUI界面。我常用的操作流程是先用鼠标调整点云和图像的初步对齐按S键保存当前帧按空格键切换到下一帧重复直到所有帧处理完成3.3 结果解析与优化标定完成后会生成extrinsic.json文件。关键参数包括rotation_matrix: 3x3旋转矩阵translation: 3维平移向量reprojection_error: 重投影误差单位像素我一般会看两个指标重投影误差小于1.5像素多帧标定的结果稳定性标准差可以用这个命令批量验证./bin/evaluate_calib \ data/calib/intrinsic.json \ data/calib/extrinsic.json \ data/images/ \ data/pointclouds/4. 避坑指南常见问题解决方案4.1 虚拟环境冲突这是最常遇到的问题。有次我的Python程序莫名其妙崩溃后来发现是conda环境和系统Python打架。解决方案# 在Docker容器内执行 deactivate # 退出任何虚拟环境 python3 -m pip install --user numpy opencv-python4.2 OpenCV版本问题如果遇到undefined reference to cv::imshow这类错误可能是OpenCV链接问题。试试sudo apt-get install libopencv-dev export OpenCV_DIR/usr/local/share/OpenCV4.3 Pangolin窗口异常有时候Pangolin窗口会闪退或黑屏。可以尝试export DISPLAY:0 ./bin/run_lidar2camera --no-gui # 先试试无GUI模式如果要在无显示设备的服务器运行需要改用离屏渲染sudo apt-get install xvfb xvfb-run ./bin/run_lidar2camera [参数]5. 进阶技巧提升标定精度经过十几个项目的实战我总结出几个提升精度的方法多帧融合采集20-30组不同位姿的数据程序会自动加权优化棋盘格优化在场景中放置ArUco标记能提升特征点匹配精度温度补偿设备运行30分钟后再采集数据避免热变形影响对于自动驾驶项目我还会用这个命令做动态验证./bin/verify_calib \ --intrinsic data/calib/intrinsic.json \ --extrinsic data/calib/extrinsic.json \ --video data/test.mp4 \ --pcd data/stream.pcd最后提醒一点标定板的材质会影响结果。金属棋盘格在激光雷达下的反射特性更好我测试过用亚克力板的误差会增大15%左右。
手把手实战：从零部署OpenCalib激光雷达-相机联合标定模块
1. 环境准备搭建OpenCalib开发基础搞激光雷达和相机联合标定环境配置是第一步也是最容易踩坑的环节。我去年在部署自动驾驶项目时就遇到过各种环境冲突问题后来发现用Docker能省去80%的麻烦。OpenCalib官方提供了预配置的Docker镜像这对新手特别友好。先确保你的机器已经安装好Docker引擎。如果是Ubuntu系统用下面这条命令就能搞定sudo apt-get update sudo apt-get install docker.io接着拉取官方镜像这个镜像已经包含了大部分基础依赖sudo docker pull scllovewkf/opencalib:v1启动容器时有个关键细节要注意——目录映射。我习惯把项目代码放在宿主机的/home/username/calib_workspace这样启动命令就是docker run -it -v /home/username/calib_workspace:/share scllovewkf/opencalib:v1 /bin/bash提示如果遇到权限问题可以在命令前加sudo或者把当前用户加入docker组进入容器后你会看到一个完整的Ubuntu环境。我建议先做个基础检查cmake --version # 应该显示3.16 pkg-config --modversion opencv # 检查OpenCV版本2. 核心组件安装一步步构建lidar2camera模块2.1 基础依赖安装虽然Docker镜像已经包含大部分依赖但有些组件可能需要更新。比如Eigen3官方镜像里的版本可能比较旧我推荐手动安装最新版git clone https://gitlab.com/libeigen/eigen.git mkdir eigen_build cd eigen_build cmake .. make installPCL点云库的安装要注意版本兼容性。有次我用apt直接安装导致标定结果漂移后来发现是版本问题。稳妥的做法是sudo apt-get install libpcl-dev pcl-tools2.2 Pangolin可视化工具这个用于标定过程的可视化交互安装时容易漏掉依赖。先装这些前置包sudo apt-get install libglew-dev libboost-dev libgl1-mesa-dev然后从源码编译git clone --recursive https://github.com/stevenlovegrove/Pangolin cd Pangolin mkdir build cd build cmake -DCPP11_NO_BOOST1 .. make -j8注意-j8表示用8个线程编译根据你CPU核心数调整2.3 lidar2camera模块编译终于到主角了先把代码clone到之前映射的/share目录cd /share git clone https://github.com/PJLab-ADG/SensorsCalibration.git重点来了编译前要设置正确的Python环境。我在三个项目上都踩过这个坑mkdir -p SensorsCalibration/lidar2camera/build cd SensorsCalibration/lidar2camera/build cmake -DPYTHON_EXECUTABLE$(which python3) .. make -j4如果看到-- Configuring done和-- Generating done就成功了一大半。最后生成的二进制文件会在build/bin目录下。3. 实战标定从数据准备到结果验证3.1 准备标定数据你需要准备四类数据相机图像如0.png点云数据如0.pcd相机内参JSON文件初始外参JSON文件我整理了个标准目录结构供参考data/ ├── images/ # 存放*.png ├── pointclouds/ # 存放*.pcd └── calib/ ├── intrinsic.json └── init_extrinsic.json3.2 运行标定程序进入编译好的目录执行cd /share/SensorsCalibration/lidar2camera/build ./bin/run_lidar2camera \ ../data/images/0.png \ ../data/pointclouds/0.pcd \ ../data/calib/intrinsic.json \ ../data/calib/init_extrinsic.json程序启动后会显示GUI界面。我常用的操作流程是先用鼠标调整点云和图像的初步对齐按S键保存当前帧按空格键切换到下一帧重复直到所有帧处理完成3.3 结果解析与优化标定完成后会生成extrinsic.json文件。关键参数包括rotation_matrix: 3x3旋转矩阵translation: 3维平移向量reprojection_error: 重投影误差单位像素我一般会看两个指标重投影误差小于1.5像素多帧标定的结果稳定性标准差可以用这个命令批量验证./bin/evaluate_calib \ data/calib/intrinsic.json \ data/calib/extrinsic.json \ data/images/ \ data/pointclouds/4. 避坑指南常见问题解决方案4.1 虚拟环境冲突这是最常遇到的问题。有次我的Python程序莫名其妙崩溃后来发现是conda环境和系统Python打架。解决方案# 在Docker容器内执行 deactivate # 退出任何虚拟环境 python3 -m pip install --user numpy opencv-python4.2 OpenCV版本问题如果遇到undefined reference to cv::imshow这类错误可能是OpenCV链接问题。试试sudo apt-get install libopencv-dev export OpenCV_DIR/usr/local/share/OpenCV4.3 Pangolin窗口异常有时候Pangolin窗口会闪退或黑屏。可以尝试export DISPLAY:0 ./bin/run_lidar2camera --no-gui # 先试试无GUI模式如果要在无显示设备的服务器运行需要改用离屏渲染sudo apt-get install xvfb xvfb-run ./bin/run_lidar2camera [参数]5. 进阶技巧提升标定精度经过十几个项目的实战我总结出几个提升精度的方法多帧融合采集20-30组不同位姿的数据程序会自动加权优化棋盘格优化在场景中放置ArUco标记能提升特征点匹配精度温度补偿设备运行30分钟后再采集数据避免热变形影响对于自动驾驶项目我还会用这个命令做动态验证./bin/verify_calib \ --intrinsic data/calib/intrinsic.json \ --extrinsic data/calib/extrinsic.json \ --video data/test.mp4 \ --pcd data/stream.pcd最后提醒一点标定板的材质会影响结果。金属棋盘格在激光雷达下的反射特性更好我测试过用亚克力板的误差会增大15%左右。
