Artykuł przedstawia zestaw algorytmów i aplikację (toolbox) przeznaczoną do jakościowej i ilościowej oceny algorytmów odometrii LiDAR (LO, LiDAR Odometry) oraz odometrii LiDAR-inercyjnej (LIO, LiDAR-Inertial Odometry). Opracowane rozwiązanie udostępniono w ramach organizacji MapsHD w serwisie GitHub, wraz z pełną dokumentacją i niezbędnymi informacjami dotyczącymi wykorzystania oprogramowania.
Proponowany toolbox obejmuje zestaw narzędzi wspierających kompleksowy proces przygotowania danych, uruchamiania algorytmów odometrii oraz analizy uzyskanych wyników. W jego skład wchodzą: (a) narzędzie do przetwarzania danych referencyjnych (ground truth), (b) skonteneryzowane implementacje wybranych algorytmów LO i LIO reprezentujących aktualny stan wiedzy, (c) narzędzia do orientacji danych pochodzących z wielu sesji pomiarowych we wspólnym układzie współrzędnych, (d) implementacja metryk Absolute Pose Error (APE) oraz Relative Pose Error (RPE) służących do ilościowej oceny dokładności estymowanej trajektorii oraz (e) narzędzia importu i eksportu danych, ułatwiające ich dalsze przetwarzanie, analizę i wizualizację, między innymi z wykorzystaniem oprogramowania CloudCompare.
Oprogramowanie jest kompatybilne z formatami danych wykorzystywanymi w środowiskach ROS1 (Robot Operating System 1) oraz ROS2 (Robot Operating System 2), co umożliwia jego zastosowanie do danych generowanych przez różne systemy i platformy robotyczne. Istotnym elementem opracowanego rozwiązania jest również możliwość przeprowadzania porównawczych eksperymentów benchmarkowych dla szerokiego zbioru algorytmów odometrii LiDAR i LiDAR-inercyjnej. W ramach zaprezentowanego benchmarku uwzględniono algorytmy: LeGO-LOAM, LIO-SAM, FAST-LIO, DLO, VoxelMap, Faster-LIO, KISS-ICP, CT-ICP, SLICT, DLIO, GLIM, iG-LIO, LIO-EKF, I2EKF-LO, GenZ-ICP, RESPLE, odometry_ros_wrapper, Point-LIO oraz LOAM-Livox.
Przedstawione narzędzia umożliwiają zatem ujednolicenie procesu ewaluacji różnych metod estymacji ruchu na podstawie danych LiDAR i danych LiDAR-inercyjnych. Połączenie przetwarzania danych referencyjnych, standaryzacji układów współrzędnych, automatyzacji uruchamiania algorytmów oraz obliczania metryk APE i RPE pozwala na przeprowadzenie zarówno ilościowej, jak i jakościowej analizy wyników. Dla przeprowadzonych eksperymentów porównawczych udostępniono również materiały wideo prezentujące ich przebieg i uzyskane rezultaty.