| Abstract | Continuously increasing demand for mobility, especially in road transport, and new transport policies that prioritize optimizing the capacity of existing roads over building new ones, pose major challenges in the field of traffic control towards a competitive and resource-efficient transport system. This thesis is primarily concerned with urban motorways and their characteristic problems, the presence of bottlenecks. Variable speed limit (VSL) as an effective traffic control strategy is used to optimize traffic on motorways. Due to the stochastic nature of traffic congestion, static VSL zones, i.e., the VSL application area remains unchanged, may not always respond accurately to spatiotemporal spreading congestion. Accordingly, a model for dynamic spatiotemporal adaptation of VSL zones that complements the prevailing VSL with static zones is proposed. To address the control problem for the proposed dynamic VSL zones, a novel distributed multi-agent reinforcement learning VSL (DWL-ST-VSL) controller, capable of dynamically adapting the length and position of VSL zones during VSL operation, is suggested. To ensure rigorous evaluation of the controller, a novel paradigm in motorway traffic modeling is proposed and demonstrated by using the continuously synchronized digital twin (DT) model of the Geneva motorway (DT-GM). Thus, DWL-ST-VSL applicability is verified through a virtual field test, which uses DT-GM microscopic simulation of actual traffic received in real-time from the Geneva motorway. Such functional integration presents a novelty in evaluating learningbased traffic controllers using traffic scenarios that more closely reflect the uncertainty in real traffic. Accordingly, DT-GM advances technological capabilities of traffic simulations to a more sophisticated and accurate level by enabling simulation-based control optimization during system run-time. Furthermore, DWL-ST-VSL outperforms all baseline control approaches with static VSL zones. Different VSL zones configurations per traffic scenarios are, thus, learned without requiring a manual setup. This is of practical relevance as it can guide traffic engineers in optimizing VSL zones design in complex motorway environments. Thus, demonstrated functional integration of the DWL-ST-VSL with the DT technology provides the basis for further development of predictive real-time analytics of complex autonomous control processes as a step toward safety-critical decision-making in a nonstationary traffic setting and provides an experimental environment for developing control system prototypes in the context of emerging connected vehicles technologies. |
| Abstract (croatian) | Stalno rastuća potražnja za mobilnošću, posebno u cestovnom prometu, i nove prometne politike koje daju prednost optimizaciji kapaciteta postojećih cesta u odnosu na izgradnju novih, predstavljaju veliki izazov u području upravljanja prometnim tokovima prema konkurentnom i resursno učinkovitom prometnom sustavu. Ovaj doktorski rad prvenstveno se bavi gradskim autocestama i njihovim karakterističnim problemima. Najistaknutiji problem je pojava uskih grla koja uzrokuju prekid prometa. Stoga je glavni cilj aktivnog upravljanja prometom spriječiti takve događaje, odnosno spriječiti aktiviranje uskog grla ako je moguće. Upotrebom promjenjivog ograničenja brzine (eng. Variable Speed Limit, VSL) glavni tok prometa može biti podvrgnut nižim ograničenjima brzine, i na taj način se protok iz područja obuhvaćenog VSL djelovanjem može privremeno ili čak trajno ograničiti. Dakle, postavljanjem odgovarajućih ograničenja brzine volumen prometnog toka koji se kreće u smjeru uskog grla može se prilagoditi tako da ostane unutar vrijednosti ograničenog (narušenog) kapaciteta uskog grla. Na taj način se sprječava preopterećenje uskog grla.
Međutim, postoji nekoliko zahtjeva za dizajn VSL-a koji se moraju odgovarajuće riješiti kako bi se osiguralo učinkovito upravljanje prometnim tokom na autocesti. Na primjer, mora se odabrati odgovarajuća strategija upravljanja na osnovu koje će se izračunavati ograničenja brzine ovisno o stanju prometa. Osim toga, važno je odrediti odgovarajuće lokacije za postavljanje znakova s promjenjivim porukama (eng. Variable Message Signs, VMS) putem kojih se informiraju vozači o ograničenjima brzine. Oni bi trebali biti strateški postavljeni kako bi se postigao željeni učinak upravljanja prometnim tokom na određenim segmentima autoceste, uzimajući u obzir ograničenja kao što su sigurnost, učinkovitost, troškovi itd. Dizajneru VSL sustava je na ta pitanja teško odgovoriti budući da efiksnost sustava ovisi o mnogim vanjskim i unutarnjim varijablama. Na primjer, poznato je da učinkovitost VSL-a ovisi o duljini područja primjene VSL-a i njegovoj udaljenosti od područja uskog grla.
Kako bi se opravdala potreba za razvojem modela dinamičkom prilagodbom zona promjenjivoga ograničenja brzine, u ovom doktorskom radu iznosi se nova pretpostavka o tome zašto je pristup VSL-a s promjenjivim zonama vrijedan daljnjeg istraživanja. Konkretno, koriste se teorijske spoznaje iz teorije prometnog toka iz kojih slijedi da se kapacitet autoceste mijenja u ovisnosti o položaju i vremenu. Prvo, na njega utječe geometrija prometnice. Drugo, na njega utječu latentne varijable kao što su vremenski uvjeti ili ponašanje samih vozača, itd. Potonje dovodi do nesigurnosti u kapacitetu definiranom kao funkcija vjerojatnosti nastanka prekida u normalnom odvijanju prometa čija vjerojatnost nastanka raste s povećanjem volumena prometa. Stoga se ne može pretpostaviti da je kapacitet (i pad kapaciteta) uskog grla konstantna varijabla, kao ni kapacitet prometnice prije mjesta zagušenja.
To znači da dodatno akumuliranje vozila (manifestirano povećanjem gustoće prometa) koje stvara VSL zona mora biti pažljivo postavljeno, uzimajući u obzir ograničeni kapacitet neposredno prije područja uskog grla, kako se ne bi stvorio novi prekid prometa uzvodno od uskog grla zbog samog djelovanja VSL-a. Iznesena činjenica implicira da VSL sa statičkom zonom možda neće moći prihvatiti dodatni promet u određenom vremenskom periodu kako bi se rasteretilo ili spriječila aktivacija uskog grla. Štoviše, VSL sa statičkim zonama može stvoriti ili ubrzati stvaranje dodatnih uskih grla uzvodno. Stoga ima smisla dinamički proširiti ili smanjiti, preraspodjeliti ili aktivirati dodatne VSL zone kako bi se zadovoljile trenutne potrebe prostorno i vremenski ograničenog kapaciteta kako bi se odgovarajuće odgovorilo na uska grla, a da se ne naruši cjelokupna dinamika prometa.
Kako bi se potvrdila gore navedena hipoteza, provodi se dubinska analiza koja uključuje temeljito ispitivanje postojećih istraživanja na temu optimalnih lokacija za VSL zone. U drugoj fazi provodi se analiza zasnovana na simulaciji s različitim unaprijed definiranim konfiguracijama VSL zona u odnosu na lokaciju uskog grla kako bi se dobila indikacija korelacije između dizajna VSL zone i performansi prometa. Osim toga, provodi se višekriterijska analiza za određivanje optimalne VSL zone uzimajući u obzir performanse uskog grla zajedno s performansama cijele simulirane mreže autoceste kao kriterij. Na osnovu pruženih dokaza zasnovanih na simulacijama o podoptimalnom radu VSL sustava s fiksnim VSL zonama u okruženju s promjenjivim prometnim zagušenjem opravdava potrebu za razvojem VSL-a s dinamičkim zonama. Koristeći rezultate i spoznaje drugih istraživača, verificirana je potreba za adaptivnim VSL zonama, te je stoga predložen model dinamičke prostorno-vremenske prilagodbe VSL zona koji nadopunjuje do sada prevladavajući VSL sa statičkim zonama.
Kako bi se riješio problem upravljanja za predloženu dinamičku prostorno-vremensku prilagodbu VSL zona, predlaže se novi distribuirani prostorno-vremenski višeagentni VSL (DWLST- VSL) regulator koji je sposoban uz prilagodbu ograničenja brzine dinamički prilagođavati duljinu i položaj VSL zona tijekom rada VSL-a. Kako bi se nadopunila prilagodba ograničenja brzine u trenutnim VSL upravljačkim sustavima, DWL-ST-VSL je modeliran kao algoritam distribuiranog W-učenja (DWL) koji je u osnovi algoritam strojnog učenja zvan potporno učenje (eng. Reinforcement Learning, RL). Stoga DWL kao tehnika strojnog učenja za samooptimizaciju zasnovana na suradničkim učećim agentima omogućuje učenje tj. optimiranje sustava primjenom višestrukih nehomogenih upravljačkih politika. Uz svoje lokalne politike, kroz koncept udaljenih politika predloženih u DWL algoritmu, agenti također uče kako njihovi postupci (odabir akcija) utječu na neposredne susjedne agente i koja politika ili radnja se preferiraju u određenoj situaciji. Međutim, prije bilo kakve implementacije sustava upravljanja prometom (posebice onog koji se zasniva na učenju, a ima sposobnost prilagoditi svoje ponašanje tijekom vremena rada na ne nužno predviđajući način), potrebno je osigurati njegovu rigoroznu evaluaciju. Stoga je potrebno razviti odgovarajući model fizičkog sustava (procesa) koji omogućuje logičku manipulaciju kako bi se odgovorilo na pitanja kako se ponaša sustav upravljanja i kako se sam proces ponaša pod sustavom upravljanja, tj. istražiti međusobni utjecaj jednog na drugog.
U prometnom inženjerstvu model procesa prometnog sustava često se odgovarajuće nadomješta pomoću simulacijskih modela. Pojava široko rasprostranjene informacijske tehnologije, posebice dostupnost podataka o prometu u stvarnom vremenu, daje temelj za dopunu prevladavaju ćih (izvanmrežnih) pristupa mikroskopskoj simulaciji stvarnim podatcima kako bi se stvorio detaljan digitalni prikaz fizičkog prometa u stvarnom vremenu. Međutim, upotreba stvarnih prometnih podataka u analizi autocesta u stvarnom vremenu još nije istražena. Razlog je to što ne postoje prateći modeli za primjenjivost podataka u stvarnom vremenu u kontekstu mikroskopskih simulacija te primjena takvih simulacijkih modela nije još razmatrana i prepoznata u kontekstu simulacija prometa na autocestama. Stoga je u ovom doktorskom radu fokus na mikroskopskoj simulaciji autoceste s integracijom prometnih podataka u stvarnom vremenu tijekom rada sustava. Kao rezultat toga, predložena je i demonstrirana nova paradigma u modeliranju prometa na autocesti korištenjem kontinuirano sinkroniziranog digitalnog blizanca modela ženevske autoceste (DT-GM). Analizirana je primjena mikroskopskog simulatora SUMO u modeliranju, simulaciji i umjeravanju u hodu sinkroniziranih digitalnih replika stvarnog prometa korištenjem tokova detaljnih stvarnih podataka o prometu s brojača prometa na autocestama kao ulaznih podataka za DT-GM. Na taj način se stvarni podatci o prometu izravno integriraju u DT-GM koji se kontinuirano izvodi tj. kontinuirano se umjerava kako se fizički pandan mijenja. Uz minutnu rezoluciju simulirani promet se vrlo približava stvarnoj distribuciji prometa na analiziranom segmentu autoceste. S kontinuiranim ažuriranjem novim dostupnim podatcima o prometu i kontinuiranim procesom umjeravanja, DT-GM stvara umjerene simulacijske okvire (gotovo točne replike stvarnog prometa) u stvarnom vremenu tijekom životnog ciklusa simulacije. U skladu s tim, DT-GM se koristi za procjenu ponašanja i performansi DWL-ST-VSL u fazama dizajna, učenja i evaluacije.
Dakle, primjenjivost DWL-ST-VSL provjerena je na (virtualnom) terenskom testu korištenjem 24-satne DT-GM simulacije stvarnog prometa generiranog u stvarnom vremenu na ženevskoj autocesti u Švicarskoj. Time ovaj pristup predstavlja novost u procjeni regulatora zasnovanih na RL-u korištenjem scenarija koji mnogo bliže odražavaju neizvjesnost u stvarnom prometu u usporedbi s konvencijlnim (offline) simulacijama. Dakle, DT-GM se može precizno umjeriti u stvarnom vremenu korištenjem stvarnih podataka o prometu s osjetila autoceste. Sukladno tome, DT-GM podiže tehnološku dimenziju u mikroskopskoj simulaciji prometa na autocesti na sljedeću razinu omogućavajući simulacijski zasnovanu optimizaciju upravljanja prometom tijekom rada fizičkog sustava koja je prije bila neizvediva. Drugo, pokazalo se da predloženi model dinamičkih prilagodljivih VSL zona nadmašuje sve testirane pristupe upravljanja VSLom sa statičkim VSL zonama u simulacijskim eksperimentima na sintetičkim modelima te na realističnom scenarijiu prometa generiranim pomoću DT-GM.
Zaključno, provedeni eksperimenti daju uvid u novi koncept upravljanja VSL-a. Konkretno, primjena DT tehnologija u mikrosimulacijama bi mogla biti okidač za daljnja istraživanja o korištenju naprednih digitalnih tehnologija zasnovanih na učenju za razvoj nove generacije prilagodljivih sustava upravljanja prometom koji ispunjavaju zahtjeve rada u nestacionarnom okruženju u kontekstu nadolazećih novih tehnologija i tehnologija povezanih vozila općenito. Prikazani rezultati su stoga od praktične važnosti jer mogu poslužiti kao vodilja inženjerima prilikom dizajniranja autocesta te nadležnim tijelima kao nit vodilja u implementaciji i opremanju autocesta naprednim upravljačkim sustavima. Integracija regulatora prometa zasnovanih na učećim algoritmima u stvarnom vremenu s tehnologijama digitalnih blizanaca čini temelj za evoluciju i mogućnost prediktivne analitike složenih upravljačkih procesa u stvarnom vremenu kao korak prema sigurnijem donošenju odluka kritičnih za sigurnost prometa u upravljanju prometom općenito. |
