Praćenje objekata temeljeno na dubokom učenju

diplomski rad

• Naslov (engleski): Object Tracking Based on Deep Learning
• Autor: Grgur Kovač
• Mentor: Zoran Kalafatić (mentor)
• Član povjerenstva: Zoran Kalafatić (predsjednik povjerenstva)
• Član povjerenstva: Siniša Šegvić (član povjerenstva)
• Član povjerenstva: Tomislav Hrkać (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2019-07-11, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

U ovome radu ostvarena je reimplementacija rada Sadeghian et al. (2017), prikazane su komplikacije koje su se pojavile tijekom implementacije te njihova rješenja. Ekstraktor značajki VGG11 zauzimao je previše memorije pa je zamijenjen ResNet-18 koji postiže slične rezultate, a zauzima manje memorije. Objašnjeni su detalji oko formiranja klasifikacijskoga skupa za učenje.
Nakon što su ostvareni slični rezultati kao u ablacijskim eksperimentima iz Sadeghian et al. (2017), napravljeni su eksperimenti s istom arhitekturom, no s boljim detektorom i dodatnim podatcima. Tim eksperimentom je postignut napredak od $7$ MOTA.
Konstruirana je nova podjela snimki zbog procjene da se sa starom podjelom teško može još poboljšati rezultat. Na novoj podjeli napravljeno je još eksperimenata. Nadalje, formirana je nova arhitektura bazirana na sličnim pretpostavkama kao i u Sadeghian et al. (2017). Ona je jednostavnija, a ostvaruje slične rezultate. Na novoj arhitekturi pokrenuti su eksperimenti s dodatno predtreniranim vizualnim ekstraktorom te dodatnim klasifikacijskim glavama. Pokazano je da oba dodatka pridonose rezultatu.
Prikazan je zanimljiv problem "praćenja odbljesaka" te kako se taj problem donekle, no ne u potpunosti, može riješiti postprocesiranjem. Također, predstavljena je metoda postprocesiranja koja popunjavanjem trajektorija pomaže kod okluzija.
Zaključno, najbolji model evaluiran je i na službenom skupu za testiranje 2DMOT2015 natjecanja na kojem je postigao rezultat 41.8 MOTA.

Sažetak (engleski)

In this thesis, a reimplementation of the paper Sadeghian et al. (2017) was achieved. Various complications with implementation were discussed, as well as their solutions. The VGG11 feature extractor was taking up to much memory so it was replaced with ResNet-18. ResNet-18 achieves similar results but takes up considerably less memory. Details regarding the construction of the classification dataset were also discussed.
After similar results to those presented in Sadeghian et al. (2017) were achieved, further experiments were conducted with a better detector and additional data. With those experiments, an improvement of 7 MOTA was achieved.
Since not much improvement could be gained with the current train/test split, a new split was created. On the new split, additional experiments were run. Furthermore, a new architecture was presented based on similar assumptions as in Sadeghian et al. (2017). It is much simpler and achieves similar results. On the new architecture, experiments were run with pretrained visual feature extractor and additional classification heads. It was demonstrated that both approaches improve the performance.
An interesting problem of "tracking reflections" was presented and how it can be partially solved in postprocessing. Furthermore, another postprocessing method was presented that help with occlusion by filling the trajectories.
Finally, the best performing model was evaluated on the official 2DMOT2015 test set and achieved the result of 41.8 MOTA.

• Ključne riječi: duboko učenje; praćenje više objekata; gradijentni spust; LSTM; CNN; MOT; MOTA; mAP; detekcija objekata; YOLO; VGG; ResNet
• Ključne riječi (engleski): Deep learning; Multiple Object Tracking; Gradient descent; LSTM; CNN; MOT; MOTA; mAP; Object detection; YOLO; VGG; ResNet
• Jezik: hrvatski
• URN:NBN: urn:nbn:hr:168:332542
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Repozitorij: Repozitorij FER-a
• Datum i vrijeme pohrane: 2020-01-07 19:16:45