Een robuuste LiDAR Vision-software ontwerpen voor autonoom rijden

Geschreven door Jaeil Park en Thorsteinn Jonsson bij Seoul Robotics

In de afgelopen jaren is de populariteit van op LiDAR gebaseerde belevingssystemen toegenomen, naast de ontwikkeling van zelfrijdende auto's. Bij Seoul Robotics streven we ernaar om geavanceerde oplossingen te bieden in autonome perceptietechnologie, en we zijn er trots op onze nieuwste perceptietechnologie te introduceren voor autonome rijtoepassingen.

Onze LiDAR Vision-software is een perceptiesoftware die in staat is tot grondsegmentatie, objectdetectie en classificatie, tracking en voorspelling. LiDAR-puntwolkverwerking is berucht vanwege dure computerkosten, maar door geavanceerde apparaten te gebruiken, kunnen we prestaties leveren die nauwkeurig werken in realtime-applicaties.

Seoul Robotics LiDAR Vision-software met Velodyne VLP-16

Grondsegmentatie

De eerste stap bij het verwerken van de puntenwolk is gronddetectie. In bijna alle gevallen is het rijbare gebied dat een voertuig kan doorkruisen een continu oppervlak en op basis hiervan passen we een stochastische modelgebaseerde fitting toe om een ​​model voor de grondschatting te vinden. Onze grondsegmentatiemethode kan de grondvorm van verschillende rijgevallen in realtime leren en classificeert elk punt als grond of niet. De grondhoogte wordt geschat over alle geobserveerde ruimte met een wiskundig model om de nauwkeurigheid van objectdetectie te vergroten en occlusie in de puntenwolk te compenseren.

Grondsegmentatie

Object detectie

Ons Deep Neural Network detecteert objecten die tijdens het rijden zorgvuldig moeten worden gevolgd. Het detecteert mensen, fietsers, auto's, bussen, vrachtwagens en meer met in realtime single-shot gevolgtrekkingen. Eind 2018 stond ons nieuwste Deep Learning-model, de Hierarchical Feature Detector, in de top zeven van een van 's werelds meest gerenommeerde benchmarks voor objectdetectie, de Kitti Object Detection Benchmark. Onder de top tien van algoritmen was de onze de enige die op betrouwbare wijze objecten in realtime (20+ frames per seconde) kon detecteren, uitsluitend op basis van LiDAR-puntenwolken, terwijl anderen ook vertrouwen op camera's voor detectie.

Hoewel onze op Deep Learning gebaseerde objectdetectiemethode objecten zeer nauwkeurig detecteert, kan het geen objecten detecteren die zich niet in de trainingsdatabase bevinden. Het is onmogelijk om alle interessante objecten in de database op te nemen, dus om deze beperking te omzeilen, gebruikt onze objectdetectiemethode naast de datagestuurde methode een niet-gecontroleerde 3D-extractie-gebaseerde methode. Objectvoorstellen worden met beide methoden parallel gedaan en de resultaten worden samengevoegd. Dit hybride objectvoorstel zorgt ervoor dat de objectdetectie geen objecten mist, ook al zijn sommige ervan niet geclassificeerd als de vooraf gedefinieerde klassen. Bovendien verbetert dit het resultaat van de gegevensgestuurde methode met de exacte 3D-functies van de point cloud-invoer.

Hybride objectvoorstel en fusie voor veilige en nauwkeurige objectdetectie

Object volgen

Aangedreven door geavanceerde Kalman-filtertechnieken, biedt onze oplossing nauwkeurige tracking van interessante objecten zoals auto's en voetgangers. Als de machine-informatie van het ego-voertuig beschikbaar is, kan de odometrie van het voertuig worden geschat en worden gebruikt om een ​​nauwkeurige weergave van de beweging van gevolgde objecten rond het voertuig te berekenen. Dit betekent dat de snelheid van elk gevolgd object kan worden geschat in een globaal coördinatensysteem, in plaats van alleen in het referentiekader van het voertuig.

Een ander voordeel van ons volgsysteem is dat het het objectdetectieresultaat kan verbeteren door een geschiedenis te bieden voor elk gevolgd object. Dit is vooral handig voor dunne puntenwolken (vanwege afstand, occlusie, sensorbeperking, enz.), Omdat de geschiedenis van het object kritieke informatie kan bieden die niet uit een enkel frame kan worden afgeleid. Dit resulteert in een veel nauwkeurigere schatting in termen van positie, grootte, oriëntatie en zelfs classificatie van de gevolgde objecten en blijkt belangrijk te zijn voor nauwkeurige voorspelling.

Object volgen met ego-voertuiginformatie

Hardware Agnostisch

Al onze algoritmen, inclusief onze op Deep Learning gebaseerde inferentie, zijn ontworpen om sensor agnostisch te zijn. We trainen en testen onze algoritmen met een verscheidenheid aan puntenwolkgegevens, zowel echte als gesimuleerde, om zoveel mogelijk verschillende soorten scenario's te dekken. Daarnaast passen we intensieve gegevensvergroting toe door de puntenwolk willekeurig te transformeren in het trainingsproces. Dit zorgt ervoor dat onze algoritmen niet worden beïnvloed door de positie en oriëntatie van de sensoren zodat gebruikers LiDAR op elke gewenste manier kunnen aansluiten. Ons algoritme legt onbevooroordeelde 3D-functies vast uit de puntenwolk voor robuuste objectdetectie met veel verschillende vormen van puntenwolken. Onze testen tonen aan dat we LiDAR's van Velodyne, Ouster, Hesai, Robosense en meer perfect kunnen dekken.

LiDAR Vision-software met 16 ch, 32 ch, 64 ch en 128 ch LiDAR (met de klok mee)

We zijn aan het huren. Bekijk hier de beschikbare positie!