Illumination estimation and segmentation in multi illuminant scenes

disertacija

• Naslov (hrvatski): Procjena i segmentacija osvjetljenja u scenama s više osvjetljenja
• Autor: Donik Vršnak
• Mentor: Sven Lončarić (mentor)
• Član povjerenstva: Marko Subašić (predsjednik povjerenstva)
• Član povjerenstva: Zoran Kalafatić (član povjerenstva)
• Član povjerenstva: Lidija Mandić (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-07, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo
• Univerzalna decimalna klasifikacija (UDC): 004 - Računalna znanost i tehnologija. Računalstvo. Obrada podataka

Sažetak

Computational color constancy can be done in two steps, illumination estimation and color correction (also referred to as white balancing). The illumination estimation problem is ill-posed, since it is impossible to determine which combination of illumination and reflectance created the color that is seen by the camera sensor. The number of illuminants present in the scene defines the type of problem, i.e., single-illumination and multi-illumination problems.

The focus of the thesis is on multi-illumination methods. These can be separated into multi-illumination estimation methods and image segmentation methods based on illumination. The goal of segmentation methods is to create a mask indicating the areas where only one illuminant is present. They are designed to work in concert with more well-researched single-illumination estimation methods. Multi-illumination estimation methods produce an estimation for each pixel in the scene. The focus is on the implementation and analysis of methods for both multi-illuminant estimation and segmentation. They are implemented using deep-learning-based techniques and achieve state-of-the-art performance on their respective problems. Deep-learning models based on convolutional layers are selected because they show great performance and generalization capabilities. For deep-learning methods, the question of the training dataset is important. For the proposed task, a real-world dataset with 2500 images was used for scenes with two sources of illumination. For scenes with three or more sources, an artificial dataset was created.

Sažetak (hrvatski)

Računalna konstantnost boje provodi se u dva koraka: procjena osvjetljenja i korekcija boje (također zvano balansiranje bijele boje). Problem procjene osvjetljenja je poddefiniran, jer je nemoguće odrediti kombinaciju osvjetljenja i refleksije koja je stvorila boju koju senzor kamere vidi. Broj svjetlosnih izvora prisutnih u sceni određuje vrstu problema, odnosno probleme s jednim svjetlosnim izvorom i probleme s više svjetlosnih izvora.

Fokus ovog diplomskog rada je na metodama za procjenu više osvjetljenja. Te se metode mogu podijeliti na metode procjene više osvjetljenja i metode segmentacije slike na temelju osvjetljenja. Cilj metoda segmentacije je stvaranje maske koja označava područja na kojima je prisutan samo jedan izvor osvjetljenja. One su osmišljene da rade u skladu s bolje istraženim metodama procjene osvjetljenja s jednim izvorom. Metode procjene više osvjetljenja daju procjenu za svaki piksel u sceni. Fokus je na implementaciji i analizi metoda za procjenu više osvjetljenja i segmentaciju. One su implementirane pomoću tehnika temeljenih na dubokom učenju i postižu rezultate na najvišoj razini u svojim odgovarajućim problemima. Modeli dubokog učenja temeljeni na konvolucijskim slojevima odabrani su jer pokazuju izvrsne performanse i sposobnosti generalizacije. Kod dubokog učenja pitanje skupa podataka za treniranje je važno. Za predloženi zadatak korišten je stvarni skup podataka sa 2500 slika za scene s dva izvora osvjetljenja. Za scene s tri ili više izvora osvjetljenja, stvoren je umjetni skup podataka.

• Ključne riječi: Color Constancy; Illumination Estimation; Image Segmentation; Deep Learning
• Ključne riječi (hrvatski): Postojanost boja; Procjena Osvjetljenja; Segmentacija Osvjetljenja; Duboko Učenje
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:257613
• Datum promocije: 2024
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: poslijediplomski znanstveni (doktorski); Akademski / stručni naziv: Doktor znanosti (dr. sc.)
• Vrsta resursa: Tekst
• Opseg: viii, 100 str. : graf. prikazi
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Otvoreni pristup
• Repozitorij: Repozitorij FER-a
• Datum i vrijeme pohrane: 2024-02-21 15:01:43