数据浏览器

查看器能够以一种简单的方式检查从记录文件中捕获的数据，并能将其在后期处理中，实时运算中或手动标签的检测对象可视化。通过实时渲染和即时时间轴滚动，即使是几百GB的大型记录也可以在任何常见的桌面操作系统上轻松浏览。由于浏览器对每个人都是免费的，记录和处理的数据可以与任何人分享和查看。在Windows和MacOS上，浏览器是通过各自的应用商店分发的。下面是支持的平台的下载链接。

浏览器内的导航已经以类似于绝大多数3D游戏的方式实现。用户可以通过使用鼠标进行（适当约束的2 DOF）旋转运动和使用WASD进行平移运动来在三维空间中移动，此外还可以使用滚轮在当前浏览器位置进行上下平移。鉴于这种方法被认为是当今时代的主流，我们可以说我们的浏览器提供了一种符合人体工程学和直观的查看三维数据的体验。特别是那些熟悉玩3D游戏的用户，在使用我们的浏览器时应该立即感到非常舒适。

浏览器可以使用我们自己格式的有效数据。捆绑在一起的应用程序可以将数据从原始记录的形式转换成这种格式。用于可视化的摄像数据流可以被存储为单独的视频文件，也可以选择不使用。

下面的视频演示了数据浏览器的使用，它是一个不间断的屏幕截图，通过查看器的各种功能进行迭代。

自动后期处理

同时进行定位和测绘

我们自动处理的第一步是使用谷歌制图员。我们会用特定的设置和参数来运行它，以便为我们的系统获得强大而准确的定位。在我们的案例中，制图员使用Livox Horizon的范围和IMU数据，并允许整合GNSS数据流。我们建议加入一个GNSS信号，因为我们的实验表明，当沿着同一路线行驶不止一次时，它可以增加显著的好处。由于制图员将GNSS数据用于其全球SLAM模块，智能手机信号的准确性通常足以获得良好的定位结果。我们使用的是GPS2IP应用程序的输出数据，我们的软件捆绑器将其与其他数据和处理算法无缝集成。由于谷歌制图员有一个ROS接口，其他来源也可以很容易地被集成。

有了制图员形成的定位和我们在这个模块中的另外几个处理步骤，我们可以得到一个累积的驱动路线的静态地图，它作为软件捆绑的自动处理的输出之一被展现。你可以在下面的三维窗口中检查这样一张地图的一小部分

深度学习

我们的软件包提供了一个选项，即使用预先训练好的金字塔场景解析网络和Mask R-CNN深度神经网络的版本来自动计算语义分割和物体实例分割，并将这些与点云相融合。

金字塔场景解析网络

PSPNet是一个执行语义分割的深度神经网络，已被业界广泛采用。它为输入图像中的每个像素产生一个语义标签。由于在我们的传感器设置中，相机的视场完全包含了激光雷达的视场，通过将点投射到相应的图像上，激光雷达数据流中的每个点都能从PSPNet中获得一个语义标签。因此，我们软件包的PSPNet模块根据原始激光雷达点云流和来自SLAM模块的累积地图中相应的PSPNet分段来标记所有激光雷达点。

PSPNet在相机数据上的输出实例以及在激光雷达点和静态地图上的投影，可以在下面的视频和3D窗口中看到。

掩码 R-CNN

掩码R-CNN既可用于物体检测，也可用于物体实例分割任务。物体实例分割基本上是在物体的边界框内进行分割。当把激光雷达点投射到Mask R-CNN处理过的相机帧中时，实例掩码提供了更好的兼容性，并倾向于比使用边界框产生更少的假阳性结果。由于Mask R-CNN已经成为业界的主流，我们已经将其直接整合到我们的自动处理中。在我们的用例中，我们根据相应的Mask R-CNN检测来标记所有激光雷达点，并将它们暴露在我们软件的输出中。

从摄像机数据上的Mask R-CNN以及投射在激光雷达点上的输出实例，可以在下面的视频中看到。

校准

我们的软件栈包括一个模块，用来校准我们的传感器设置。该模块会在软件包中提供给我们的客户，您可以用它来重新校准我们的屋顶安装传感器解决方案，或者将外部供应商的激光雷达、照相机和惯性传感器校准到屋顶安装传感器上。校准模块包括一个半监督的校准工具套件。这包括库和可执行文件，用于校准激光雷达与激光雷达、激光雷达与IMU以及激光雷达与相机的关系。前两项是完全自动化的，结果的质量是目视检查的。最终结果可以用Meshlab、RViz或我们自己的可视化工具进行可视化。对于相机和激光雷达的注册，我们使用一种监督方法，利用一个定制的图形用户界面（GUI）。