Robust visual place recognition using deep representations and sequence-based image matching

disertacija

• Naslov (hrvatski): Robusno vizualno prepoznavanje mjesta uporabom dubokih reprezentacija i uparivanja sljedova slika
• Autor: Jurica Maltar; MBZ: 366813
• Mentor: Ivan Marković (mentor)
• Mentor: Domagoj Matijevic (komentor)
• Član povjerenstva: Ivan Petrović (predsjednik povjerenstva)
• Član povjerenstva: Siniša Šegvić (član povjerenstva)
• Član povjerenstva: Kristian Sabo (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; (Zavod za automatiku i računalno inženjerstvo); Zagreb
• Datum i država obrane: 2023-05-15, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

The doctoral thesis examines the problem of visual place recognition. During visual place recognition, negative impacts such as different environmental conditions, different viewpoints of the camera and perceptual aliasing, affect the system’s performances. Therefore, the thesis proposes a novel sequence-based place matching method. Such a place matching is more robust than the naïve approach because data is sequential and captured during the vehicle’s traversal around a route. Also, the thesis proposes a robust visual representation for a place image by using fine-tuned deep convolutional neural networks. Feature maps extracted with a convolutional neural network are further refined with the mutual information-based feature selection technique. Finally, to not be an end in itself, the implemented system is additionally adapted and used in the context of the famous robotic problem – simultaneous localization and mapping – for the purpose of loop closing detection where even better performances are obtained. Scientific contributions of the thesis are: Sequence-based visual place matching method that uses directed acyclic graphs and single source shortest path. Method for robust visual place recognition with deep representations that uses softmax regression and mutual information-based feature selection. Procedure for adapting sequence-based visual place recognition method for loop closing in simultaneous localization and mapping algorithms.

Sažetak (hrvatski)

Doktorski se rad odnosi na problem vizualnog prepoznavanja mjesta. Pri vizualnom prepoznavanju mjesta, negativni čimbenici kao što su različiti okolišni uvjeti, različita gledišta kamere te vizualna sličnost različitih mjesta, utječu na performanse sustava. Stoga ovaj doktorski rad predstavlja novu metodu prepoznavanja mjesta uparivanjem sljedova slika. Takvo je uparivanje robusnije od uobičajenog pristupa jer su podaci nastali pri obilasku vozila oko nekog područja sekvencijalne prirode. Također, doktorski rad predstavlja robusnu vizualnu reprezentaciju slike mjesta korištenjem dubokih modela dobivenu prilagodbom konvolucijskih neuronskih mreža. Dobivene se globalne značajke slike mjesta dodatno pročišćuju korištenjem odabira značajki zasnovanom na uzajamnom sadržaju informacije. Naposljetku, kako vizualno prepoznavanje ne bi bilo problem sam za sebe, implementirani se sustav dodatno prilagođava i koristi u sklopu poznatog robotičkog problema – istovremene lokalizacije i kartiranja – u svrhu detekcije zatvaranja petlje čime su postignute još bolje performanse u tome problemu. Znanstveni doprinosi doktorskog rada su: Metoda vizualnog uparivanja mjesta zasnovana na sljedovima slika koja koristi usmjerene acikličke grafove i najkraći put iz jednog izvora. Metoda za robusno vizualno prepoznavanje mjesta dubokim reprezentacijama koja koristi softmax regresiju i odabir značajki zasnovan na uzajamnom sadržaju informacije. Postupak prilagodbe metode vizualnog prepoznavanja mjesta zasnovane na sljedovima slika za zatvaranje petlje u algoritmima istovremene lokalizacije i kartiranja.

• Ključne riječi: autonomous vehicle; traffic; drift; visual place recognition; machine learning; image models; convolutional neural networks; factor graphs; simultaneous localization and mapping; loop closing
• Ključne riječi (hrvatski): autonomno vozilo; promet; greška uzrokovana zanošenjem; vizualno prepoznavanje mjesta; strojno učenje; modeli slika; konvolucijske neuronske mreže; faktor grafovi; istovremena lokalizacija i kartiranje; zatvaranje petlje
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:950209
• Datum promocije: 2023
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: xi, 114 str. : graf. prikazi ; 31 cm.
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Repozitorij: Repozitorij FER-a
• Datum i vrijeme pohrane: 2023-09-18 15:32:17