Raspoznavanje hrvatskog znakovnog jezika korištenjem uređaja za optičko praćenje pokreta

master's thesis

• Title (english): Croatian Sign Language Recognition Using Optical Motion Tracking Devices
• Author: Domagoj Alagić
• Mentor: Mislav Grgić (mentor)
• Committee member: Mislav Grgić (predsjednik povjerenstva)
• Committee member: Tomislav Kos (član povjerenstva)
• Committee member: Sonja Grgić (član povjerenstva)
• Granter: University of Zagreb; Faculty of Electrical Engineering and Computing; Zagreb
• Defense date and country: 2014-07-15, Croatia
• Scientific / art field, discipline and subdiscipline: TECHNICAL SCIENCES; Computing

Abstract

Znakovni jezici, iako sasvim ravnopravni govornim jezicima, nisu toliko prepoznati unutar čujuće zajednice ljudi. Ova činjenica ima negativan utjecaj na ostvarivanje prava na komunikaciju, obrazovanje i informiranje osoba s oštećenjem sluha.

Ovaj rad predstavlja ostvarenje sustava za automatsko raspoznavanje znakova u hrvatskom znakovnom jeziku, jeziku zajednice osoba s oštećenjem sluha u Republici Hrvatskoj.
Daje se osnovni pregled hrvatskog znakovnog jezika nakon čega se opisuje i matematički model sustava. Sam sustav izveden je kao klasifikator izoliranih znakova pri čemu se za svaki znak postupkom nadziranog učenja gradi zasebni skriveni Markovljev model. Sami znakovi predstavljaju se kao nizovi vektora značajki koji su izgrađeni korištenjem podataka dobivenih iz uređaja za optičko praćenje, Microsoft Kinecta.

Analizom efikasnosti sustava na odabranom podskupu znakova došlo se do vrlo dobrih rezultata, ali i do mnoštva ideja za njegovu nadogradnju koja bi vodila većoj primjenjivosti sustava u stvarnom svijetu.

Abstract (english)

Sign languages, even though they are equal to the spoken languages, are not widely recognized among the hearing people. This fact has an unfavorable influence on the deaf people's rights of communication, education and information exchange.

This thesis presents a system for the automatic recognition of Croatian Sign Language, language of the Deaf in the Republic of Croatia.
It starts off with a rudimentary overview of the Croatian Sign Language followed by a complete mathematical model on which the system resides. The implemented system works as an isolated sign classifier where for every sign an independent hidden Markov model is created via the process of supervised learning. The signs are represented by sequences of feature vectors created using the data extracted from the optical motion tracking device, Microsoft Kinect.

The system efficiency analysis over a chosen subset of signs has produced very good results, but also a great number of ideas for possible system upgrades. Those upgrades would certainly improve the system's applicability in the real-world situations.

• Keywords: hrvatski znakovni jezik; skriveni Markovljevi modeli; optičko praćenje pokreta; Microsoft Kinect; raspoznavanje; strojno učenje
• Keywords (english): Croatian Sign Language; hidden Markov models; optical motion tracking; Microsoft Kinect; recognition; machine learning
• Language: croatian
• URN:NBN: urn:nbn:hr:168:689524
• Study programme: Title: Information and Communication Technology; Study programme type: university; Study level: graduate; Academic / professional title: magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije (magistar/magistra inženjer/inženjerka informacijske i komunikacijske tehnologije)
• Type of resource: Text
• File origin: Born digital
• Access conditions: Closed access
• Repository: FER Repository
• Created on: 2018-02-06 07:35:22