Convolutional neural networks for illumination estimation in complex illumination environments

doctoral thesis

• Title (croatian): Konvolucijske neuronske mreže za procjenu osvjetljenja u složenim svjetlosnim uvjetima
• Author: Ilija Domislović
• Mentor: Marko Subašić (mentor)
• Committee member: Sven Lončarić (predsjednik povjerenstva)
• Committee member: Zoran Kalafatić (član povjerenstva)
• Committee member: Lidija Mandić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; (Department of Electronic Systems and Information Processing); Zagreb
• Defense date and country: 2023, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing
• Universal decimal classification (UDC): 004 - Computer science and technology. Computing. Data processing

Abstract

The Human Visual System allows us to perceive the world around us. Illumination has a significant effect on an object's color, but humans perceive object color as relatively constant regardless of illumination color. This ability is called color constancy. Unlike humans, cameras are unable to do this automatically, resulting in unnatural-looking images. Methods that emulate the Human Visual System have been proposed. Research has shown that learning-based methods achieve the best results. For the proper usage of learning-based methods, a large number of samples are needed. There are not many multi-illuminant datasets, as their creation is a laborious process. This thesis explores both illumination estimation method development as well as methods for the creation of multi-illuminant datasets. For illumination estimation, five methods, one for single-illuminant and four for multi-illuminant estimation, were developed. The single-illuminant method is a lightweight convolutional neural network that achieves state-of-the-art results on existing datasets. The multi-illuminant methods were created for three situations: one method for when the number of illuminants is known a priori, one method for patch-by-patch estimation, and two methods for pixel-by-pixel estimation. Two dataset creation methods were also developed: one for the creation and labeling of real-world two-illuminant images and one for the creation of images with diverse non-uniform illumination. Experiments show that all proposed methods achieve comparable or better results than methods from the literature.

Abstract (croatian)

Ljudski vizualni sustav omogućuje nam da vidimo svijet oko nas. Osvjetljenje ima značajan utjecaj na boju predmeta, ali ljudi percipiraju boju predmeta kao relativno konstantnu bez obzira na boju osvjetljenja. Tu sposobnost nazivamo postojanost boje. Za razliku od ljudi, kamere to ne rade automatski, što rezultira u slikama koje izgledaju neprirodno. Postoje metode koje oponašaju tu sposobnost ljudskog vizualnog sustava. Istraživanja su pokazala da metode temeljene na učenju postižu najbolje rezultate. Kako bi metode temeljene na učenju pravilno radile potreban je velik broj uzoraka. Nema mnogo skupova podataka s više osvjetljenja jer njihovo stvaranje je naporan proces. Ova disertacija istražuje razvoj metode procjene osvjetljenja i razvoj metoda za stvaranje skupova podataka s više osvjetljenja. Za procjenu osvjetljenja razvijeno je pet metoda, jedna za procjenu jednog i četiri za procjenu više osvjetljenja. Metoda za jedno osvjetljenje je jednostavna konvolucijska neuronska mreža koja postiže dobre rezultate na postojećim skupovima podataka. Metode za više osvjetljenja stvorene su za tri situacije: jedna metoda kada je broj osvjetljenja poznat, jedna metoda za procjenu osvjetljenja sličica po sličica i dvije metode za procjenu osvjetljenja piksel po piksel. Razvijene su još i dvije metode za stvaranja skupa podataka, jedna za izradu i označavanje slika s dva osvjetljenja u stvarnom svijetu i jedna za izradu slika s raznolikim neuniformnim osvjetljenjem. Eksperimenti pokazuju da sve predložene metode postižu usporedive ili bolje rezultate od metoda iz literature.

• Keywords: machine learning; neural networks; image processing; image analysis; data sets; color constancy
• Keywords (croatian): strojno učenje; neuronske mreže; obrada slika; analiza slika; skupovi podataka; postojanost boja
• Language: english
• URN:NBN: urn:nbn:hr:168:676218
• Study programme: Title: Computer Science; Study programme type: university; Study level: postgraduate; Academic / professional title: Doktor znanosti (Doktor znanosti)
• Catalog URL: https://publib.fer.hr/cgi-bin/koha/opac-detail.pl?biblionumber=54426
• Type of resource: Text
• Extent: viii, 126 str.
• File origin: Born digital
• Access conditions: Open access
• Repository: FER Repository
• Created on: 2024-05-03 07:01:20