Artify: prijenos stila slike u stvarnom vremenu s dubokim učenjem

diplomski rad

• Naslov (engleski): Artify: Real-time Image Style Transfer with Deep Learning
• Autor: Lovre Petešić
• Mentor: Marina Bagić Babac (mentor)
• Član povjerenstva: Marina Bagić Babac (predsjednik povjerenstva)
• Član povjerenstva: Mirjana Domazet-Lošo (član povjerenstva)
• Član povjerenstva: Marko Horvat (član povjerenstva)
• Ustanova koja je dodijelila akademski / stručni stupanj: Sveučilište u Zagrebu; Fakultet elektrotehnike i računarstva; Zagreb
• Datum i država obrane: 2023-07-10, Hrvatska
• Znanstveno / umjetničko područje, polje i grana: TEHNIČKE ZNANOSTI; Računarstvo

Sažetak

Implementirana su dva modela dubokog učenja, od kojih jedan nije uspio biti treniran jer je set za treniranje bio loše odabran. Iz dijelova propalog modela se pokazalo da se maska za isključivanje piksela može izvesti jednostavnije nego što je navedeno u proučenoj literaturi, uz cijenu dodatnog hiperparametra.Pokazalo se i da je TVR gubitak jako osjetljiv na hiperparametre te da je ispravan odabir podataka jedan od ključnih dijelova treniranja neuronskih mreža. Nad uspješnim modelom, modificirali su se parametri poput broja kanala, epoha treniranja i slično. Pokazalo se da je TVR manje potreban ako se ne koristi transponirana konvolucija, već interpolacija za uvećavanje rezolucije slike. Interpolacija sprječava pojavu šahovničkih uzoraka u pikselima pri uvećavanju slike.

Sažetak (engleski)

Two deep learning models were implemented, of which one was unable to be properly trained because the training datased was poorly picked. From parts of the failed model, it was shown that the disocclusion mask can be calculated more easily than shown in researched literature, albeit at a cost of an extra hyperparameter- It was also shown that the TVR loss i svery sensitive to hiperparameters and that attention to correct dana collection and processing is one of the most important aspects of training any neural network. Over the successful model modifications were made like changing the channel size, epochs etc. It was shown that the TVR loss is less needed if one does not use transposed convolution, but interpolation upscaling instead. Interpolation prevents the appearance of checkerboard patterns when upscaling.

• Ključne riječi: NST; neuronske mreže; duboko učenje; umjetnost
• Ključne riječi (engleski): NST; deep learning; neural networks; art
• Jezik: engleski
• URN:NBN: urn:nbn:hr:168:270943
• Studijski program: Naziv: Računarstvo; Vrsta studija: sveučilišni; Stupanj studija: diplomski; Akademski / stručni naziv: magistar/magistra inženjer/inženjerka računarstva (mag.ing.comp.)
• Vrsta resursa: Tekst
• Način izrade datoteke: Izvorno digitalna
• Prava pristupa: Zatvoreni pristup
• Repozitorij: Repozitorij FER-a
• Datum i vrijeme pohrane: 2023-10-11 10:07:53