我们的传感器解决方案为协助ADAS和自动驾驶算法的开发提供了基础。您需要做的就是将它安装在汽车上，连接到LAN端口之一，然后开始记录数据。所有组件都放置在单个车顶安装单元上。

我们可以使用我们的传感器解决方案来实现适合特定客户的个性化解决方案。 IEEE 1588-2008精确时间协议（PTP）可将我们车顶安装的传感器与其他任意目标车辆的原装传感器或其他外部的传感器同步。

可视化器可以检查从记录的文件中捕获的数据，并可以将其与后期处理过程中，实时算法中或手动标签中检测到的对象可视化。通过实时可视化和即时时间轴滚动，甚至可以在任何常见的台式机操作系统上轻松查看数百GB的大型记录。由于查看器对所有人免费，因此记录和处理的数据可以与任何人共享和查看。

同时定位和映射（SLAM） 同步定位和映射（SLAM）使用激光雷达的测距和IMU数据以及可选的同时记录的GNSS信号，并在整个记录的序列中计算自我车辆的定位。本地化与动态对象过滤器一起生成整个记录的静态图。

深度学习 该软件包提供了使用PSPNet和Mask R-CNN的预训练版本自动计算语义细分和对象实例细分的选项，并将其与点云融合。数据查看器还允许检查这些结果。

该模块可以重新校准我们的车顶传感器解决方案，还可以用于校准从外部供应商到车顶传感器的激光雷达，摄像机和惯性传感器。

所有记录和后处理的数据都将导出到开源ROS消息中，并捆绑在ROS bag文件中。仅使用原始ROS代码库中的默认消息类型。这样，任何人都可以使用记录和处理的数据，而无需依赖我们的软件。

我们已经开发了3D标记工具，该工具可通过半手动/自动注释的矩形长方体来丰富记录的数据。我们的注释工具使我们能够通过与对象跟踪算法所使用的基本概念相似的方法，比竞争对手更快地标记大量连续记录的数据。

与传统注释工作相比，在静态地图的帮助下，所有静态对象都会以破纪录的速度在第一阶段被注释。

在第二阶段的注释中，动态对象被标记。常见对象的运动都会被相对合理地定义，而运动模型更多地用于辅助注释过程。 分别定义一个对象在不同时间位置的两个注释，可以在不同时间根据对象轨迹的插值和目标车辆的移动数据计算其相对位置和方向。 因此，对于目标对象具有持续移动的间隔，注释器可以跳过大多数帧并加快注释过程。

2D物体检测 YOLOnet是该领域最受欢迎的开源项目之一。我们有经验将YOLOnet从v3开始的版本，包括 "微小 "的版本，整合到项目中。

3D物体检测 我们在使用和培训Voxelnet和PointPillars方面有经验，它们适用于各种级别和各种激光雷达扫描仪。这是两个最常用的开源项目，用于激光雷达数据的3D物体检测。PointPillars是这两个项目中较新的一个，根据我们的经验，它能以更短的执行时间实现与Voxelnet非常相似的检测质量。

语义分割 我们在训练和配置PSPNet和SegNet方面都有经验，目的是在各种情况下进行语义图像分割，包括相机和激光雷达传感器。在激光雷达的情况下，点云被结构化为图像，使数据的解析与这些类型的网络兼容。

物体实例分割 我们在训练和配置Mask R-CNN方面都有经验，同时也了解一些用于创建兼容训练数据的常用标记工具的用法。Mask R-CNN既可用于物体检测，也可用于物体实例分割任务。然而，在处理包括激光雷达数据的传感器设置。时，物体实例分割尤其有用

多种传感器和算法的融合有很多优势，因为它们的接收领域不同，可以相互补充。一个项目可以通过将各种经典实现的算法（即非深度学习的算法）与各种这样的深度学习技术结合起来而获益匪浅。

激光雷达SLAM 我们正在积极地在我们自己的传感器设置上使用Google Cartographer与Livox Horizon扫描仪，我们已经相应地调整了超参数，以获得可靠和准确的定位。我们还实现了一个可以实时运行的版本，并向其他ROS节点提供实时定位数据。我们还实现了Google Cartographer的配置，可以与采用多个激光雷达的不同传感器设置配合使用。我们在使用和修改伯克利本地化和制图开源项目代码方面也有很多经验。

视觉SLAM 当只有摄像机（或单个摄像机）可用时，我们无法部署上一节的算法。因此，我们已经在一些需要使用视觉SLAM的项目中部署了DSO和ORB-SLAM开源项目。

Carla是麻省理工学院授权的用于自动驾驶研究的开源模拟器，是自动驾驶和ADAS相关项目的一个重要工具。我们对该工具的主要使用是在该工具提供的各种场景中驾驶一辆自动驾驶汽车，同时生成模拟的原始传感器数据并提取地面真实物体和分割标签。我们用这些来训练深度学习模型，通过允许访问几乎无限的和自动生成的训练数据，这些模型被用于真实传感器数据的物体检测。另一个使用案例是实现避免碰撞的功能，防止控制虚拟汽车的人意外或故意与其他物体相撞。从这些项目中，我们获得了很多关于如何在能够从这种整合中受益的场景中使用这一工具的知识。

我们的经验包括从使用单一单眼相机的重建技术到使用多个相机的立体和非立体配置技术。我们在这个领域实现了多种算法，并设计了算法及其其改进措施。我们的经验包括在这个领域使用和整合大量的库和开源项目。

我们的眼睛通常被认为是我们大脑的窗口，因为排列在视网膜上的光感受器细胞通过视神经直接与大脑相连。但由于视觉敏锐度（区分细微细节的能力）不均匀，我们会移动眼睛，以便将眼窝（敏锐度最高的区域）指向我们想要获取信息的区域。眼睛的运动可以分为不同的眼球运动类型，这些运动可以和视觉内容一起进一步分析，以便为我们提供有关场景中有趣的部分、被观察者的状态、任务的难度等宝贵信息。为了更好地理解这些因素，可以将实验移出实验室，通过使用可穿戴的眼球追踪设备，将实验移到更多的沉浸式场景中。