Umjetna inteligencija

* Napomena: Čitate poglavlje iz Izvješća pučke pravobraniteljice za 2023. godinu, koje smo predali Hrvatskom saboru u ožujku 2024. Cijelo Izvješće možete otvoriti u PDF formatu i u interaktivnoj verziji.

Pučka pravobraniteljica od 2019. godine prati aktivnosti koje se povodom razvoja umjetne inteligencije (UI) i njezine primjene poduzimaju na nacionalnom i europskom nivou. 2023. godinu obilježilo je sve veće korištenje UI u različitim područjima života, pojačan interes javnosti i medija o UI, podijeljena mišljenja nakon puštanja u promet „velikih jezičnih modela“ ChatGPT-a tvrtke OpenAI i Google-ovog Barda, kao i nastavak regulacije UI na razini EU i VE. U RH su intenzivirane stručne rasprave te je po prvi put u Hrvatskom saboru održana temetska sjednica na temu UI, kao i prvi znanstveni simpozij.

Prema istraživanju Međunarodnog monetarnog fonda (MMF), UI bi mogla utjecati na oko 60% radnih mjesta u razvijenim gospodarstvima, dok bi na tržištima u razvoju mogla promijeniti 40%, a u zemljama s niskim prihodima 26% poslova. Prema istraživanju, mnoge slabije razvijene zemlje nemaju infrastrukturu ili kvalificiranu radnu snagu da iskoriste prednosti UI, zbog čega postoji povećani rizik produbljivanja nejednakosti između zemalja.

U rujnu 2023. godine obavljeno je prvo istraživanje o percepciji UI u RH, provedeno na uzorku od 1.300 osoba, a dio je znanstveno-stručnog projekta Percepcija UI u RH. Rezultati su pokazali da je 42% ispitanika iskušalo alate UI ili se njima koristi, 19,3% navodi da ima visoko poznavanje UI, dok 26,3% nisko. Za 60% anketiranih UI predstavlja osjećaj neizvjesnosti ili zabrinutosti, dok ju 30% smatra korisnom. Radi straha od nestanka poslova u idućih pet do deset godina zbog UI zabrinuto je 49% ispitanika, dok ih 72% smatra da će UI negativno utjecati na međuljudske odnose.

O percepciji gubitka radnih mjesta uslijed primjene UI, portal MojPosao je također proveo istraživanje na 800 ispitanika te su rezultati pokazali da svaka peta osoba (22%) smatra kako bi u narednih 10 godina mogli ostati bez posla zbog napretka tehnologije, a 10% radnika u RH je već doživjelo promjenu radnih zadataka zbog automatizacije. Prema istraživanju Hrvatske gospodarske komore i Best Advisory d.o.o. u 342 hrvatske tvrtke, 50% velikih poduzeća primjenjuje neke od alata UI, najviše u automatizaciji poslovnih procesa, no samo 5% poduzeća u RH redovito educira zaposlenike o UI.

Nakon što je EK u travnju 2021. predstavila prijedlog Uredbe o UI (Uredba), u prosincu 2023. godine je postignut privremeni dogovor između tijela EU o nacrtu Uredbe. Tijekom pregovora koji su 2023. bili intenzivni, na poziv MINGOR-a u više smo navrata dali mišljenje na pojedine odredbe te konačni tekst Uredbe, s ciljem preveniranja potencijalno štetnih utjecaja UI sustava na ljudska prava i jednakost, posebice pri upotrebi visokorizičnih sustava UI.

Između ostalog smo se zalagali za osiguravanje neovisne procjene rizika svih sustava UI od strane trećih osoba te obveznu provedbu procjene učinaka visokorizičnih sustava na ljudska prava i diskriminaciju. Takva procjena rizika trebala bi biti obveza korisnika u javnom i privatnom sektoru i to pri izradi sustava, prije početka korištenja te periodično nakon stavljanja sustava u promet, imajući u vidu konkretnu svrhu za koju se odobrava.

Prepoznajući potencijalnu prijetnju pravima građana i demokraciji koju predstavljaju određene primjene UI, Uredbom su zabranjeni sustavi biometrijske kategorizacije koji se temelje na biometrijskim podacima pojedinaca, poput lica ili otisaka prstiju. Iako je korištenje biometrijskih identifikacijskih sustava zabranjeno u radu policije, bit će iznimno dopušteno uz odobrenje suda, u slučajevima teških kaznenih djela poput terorizma, trgovanja ljudima ili seksualnog iskorištavanja djece.

Uredbom se zabranjuje prikupljanje fotografija lica s interneta ili nadzornih kamera radi stvaranja baze podataka, prepoznavanje emocija na radnom mjestu i u obrazovnim ustanovama, društveno bodovanje na temelju ponašanja ili osobnih karakteristika, kao i sustavi za manipulaciju ljudskim ponašanjem.

Za visokorizične sustave UI koji mogu značajno nanijeti štetu zdravlju, sigurnosti, temeljnim pravima, okolišu, demokraciji i vladavini prava, dogovorena je obvezna procjena učinka na temeljna prava. Građani će imati pravo pritužiti se na rad sustava UI i dobiti pojašnjenja načina odlučivanja o njihovim pravima, za što smo se također zalagali. S obzirom na ubrazani razvoj UI, sustavi UI i modeli opće namjene poput ChatGPT, morat će biti transparentni te će se korisnike morati informirati da je sadržaj generiran UI.

Da bi Uredba postala pravno obvezujuća mora biti službeno potvrđena od strane EU Parlamenta i Vijeća EU i objavljena u službenom glasilu EU. Budući da će biti potpuno primjenjiva 24 mjeseca nakon stupanja na snagu, očekuje se njezina primjena od 2025. godine uz određene iznimke. Primjerice, odredbe kojima se zabranjuju ranije navedene prakse bit će u primjeni šest mjeseci od stupanja na snagu. Kako bi potaknula poduzeća, startupove i istraživače na izradu etične i odgovorne UI i prije stupanja Uredbe na snagu, EK je u prosincu 2023. godine donijela Pakt o UI.

Nastavljeni su i pregovori o Nacrtu Okvirne konvencije o UI, ljudskim pravima, demokraciji i vladavini prava koju priprema VE. Na poziv MINGOR-a komentirali smo prijedlog Nacrta Konvencije, zalažući se za uspostavu učinkovitih mehanizama pravne zaštite koji će omogućiti jednostavno osporavanje odluka ili sprječavanje nastanka štete te adekvatne mehanizme nadzora i provedbe na nacionalnoj i na razini VE. Ukazali smo i da je područje primjene Konvencije potrebno proširiti i na sustave koji se upotrebljavaju u privatnom sektoru, kao i koji se koriste za nacionalnu sigurnost ili vojne svrhe i obranu, jer oni također mogu prouzročiti neprihvatljive rizike za temeljna prava građana, primjerice kod masovnog nadzora ili korištenja tehnologije prepoznavanja lica te alata za prepoznavanje ponašanja. Međutim, prema zadnjem nacrtu dokumenta nije izgledno da će navedeno biti prihvaćeno.

Također, komentare na prijedlog nacrta Konvencije dali smo i kao članovi Europske mreže nacionalnih institucija za ljudska prava (ENNHRI) i Europske mreže tijela za jednakost (EQUINET), koje imaju status promatrača pri Odboru za UI Vijeća Europe (CAI), dok je pučka pravobraniteljica sudjelovala u radu Odbora i pregovorima oko teksta Konvencija ispred Europske komisije za borbu protiv rasizma i netolerancije (ECRI). S obzirom da Konvencija može utjecati na korištenje UI i algoritama u skladu s ljudskim pravima, VE je 2023. godine objavilo studiju o utjecaju UI na diskriminaciju te je dalo specifične preporuke s ciljem promicanja ravnopravnosti, uključujući i ravnopravnost spolova.

U cilju regulacije upotrebe UI, 2023. godina obilježena je različitim inicijativama i na globalnoj razini. Ujedinjeni narodi (UN) su formirali novo savjetodavno tijelo s ciljem izrade preporuka za upravljanje UI za opće dobro i bržeg ispunjavanja ciljeva održivog razvoja te su pozvali čelnike država da pokrenu pregovore o novom pravno obvezujućem instrumentu za postavljanje jasnih zabrana i ograničenja upotrebe autonomnih oružanih sustava. UNESCO usko surađuje s EU na programima za očuvanje etične UI te je pozvao na hitnu provedbu Preporuka o etici UI, koje pružaju potrebne zaštitne mjere i jednoglasno su usvojene od 193 država članica organizacije. Čelnici skupine G7 (Francuska, Njemačka, Italija, Velika Britanija, Japan, Kanada, SAD te EU) postigli su dogovor o međunarodnim načelima za pouzdan razvoj UI te zaštitu ljudskih prava, uključujući i generativnu UI .

Iako postoji veliki broj prednosti upotrebe UI, primjerice u obrazovanju i zdravstvu, upravljanju financijama, javnoj upravi, poljoprivredi, UI može ugroziti temeljna ljudska prava i jednakost na sasvim nove načine. Osim prava na privatnost i zaštitu osobnih podataka, ugoženi mogu biti i pravo na fizički i psihički integritet, nediskriminacija/jednakost, sloboda izražavanja, okupljanja i informiranja, presumpcija nevinosti te pravo na pošteno suđenje, pravo na djelotvoran pravni lijek te druga prava.

U ožujku 2023. godine je preko 30.000 znanstvenika i tehnoloških stručnjaka potpisalo otvoreno pismo upozoravajući na nekontrolirani razvoj sustava UI i sigurnosne rizike velikih jezičnih modela (ChatGPT), tražeći zaustavljanje razvijanja ovih sustava na šest mjeseci, a neke države poput Italije su privremeno zabranile njihovu upotrebu zbog povrede prava na zaštitu osobnih podataka.

Sud pravde EU (CJEU) je u prosincu 2023. godine donio prvu presudu u vezi automatiziranog donošenja odluka, koja bi mogla imati značajne učinke na kreditne institucije i osiguravajuća društva. Naime, Sud je presudio da najveća njemačka privatna kreditna agencija SCHUFA, nezakonito ocjenjuje kreditnu sposobnost klijenata na temelju automatiziranog sustava koji se temelji na osobnim podatcima (profiliranje), čime krši Opću uredbu o zaštiti osobih podataka.

RH će kao država članica EU, nakon usvajanja Uredbe njome biti vezana, a moći će i ratificirati Konvenciju VE nakon što bude usvojena te će ovi dokumenti predstavljati pravni okvir za razvoj i upotrebu UI u RH. U međuvremenu je RH 2022. godine donijela Strategiju digitalne Hrvatske do 2032. godine, koja u sljedećem desetljeću pretpostavlja primjenu naprednih tehnologija poput UI u javnom i privatnom sektoru, i Strategiju pametne specijalizacije do 2029. godine, a u postupku je izrada Nacionalnog plana za digitalno desetljeće do 2030. godine. No, RH još nije izradila Nacionalni plan za razvoj UI, iako je 2019. godine osnovana radna skupina za njegovu izradu, koja se nije sastajala niti tijekom 2023. godine.

U suorganizaciji Hrvatske akademije znanosti i umjetnosti (HAZU), Fakulteta elektrotehnike i računarstva (FER) te Fakulteta strojarstva i brodogradnje Sveučilišta u Zagrebu, 2023. godine je održan Prvi hrvatski simpozij o UI, na kojem je pučka pravobraniteljica govorila o pravnoj regulaciji i utjecaju korištenja UI na ljudska prava i jednakost. Između ostalog, predstavljene su primjene UI u medicini, biomedicini, poljoprivredi, energetici, financijama, proučavanju podmorja te upravljanju infrastrukturom i zgradama.

Kako je prikazano, UI može biti od velike pomoći primjerice u vinogradarstvu za nadzor vinograda ili u marikulturi za upravljanje uzgajalištima, a razvija se i tehnologija za otkrivanje podmorja, odnosno razvoja podvodne mape akustičnih signala te tehnologija za komunikaciju robota i ronioca ispod mora. Primjena robota prisutna je i u medicini, koji se u RH kontinuirano razvijaju od 2000. godine. U novoj generaciji robota razvijaju se autonomni kirurški instrumenti s vlastitim napajanjem, dok se UI koristi i za predviđanje novih gena ili otkrivanje novih lijekova. UI se koristi i za strojno prevođenje te je 2023. godine razvijen alat Hrvojka koji prevodi tekst i dokumente te je posebno koristan za javnu upravu.

U javnoj upravi se, prema našim saznanjima, još uvijek ne koriste sustavi utemeljeni na UI koji bi imali utjecaj na prava građana te su aktivnosti uglavnom usmjerene na digitalizaciju usluga. Međutim, MPU razvija sustav centraliziranog sustava selekcije kandidata za zapošljavanje u državnoj službi te je 2023. godine izrađen prijedlog modela, dok je testiranje sustava i konačna primopredaja predviđena za svibanj 2024. godine.

Tijekom 2023. započeo je s provedbom Europski digitalni inovacijski centar (EDIH) AI4Health.Cro naziva „Umjetna inteligencija za pametno zdravstvo i medicinu“ za unaprjeđenje zdravstvenog sustava uz pomoć UI, kao jedan od strateških ciljeva Strategije digitalne Hrvatske. U sektoru obrazovanja također su prepoznate prednosti upotrebe UI, ali i nužnost njenog odgovornog i etičkog korištenja u nastavi te ocjenjivačkim radovima.

MUP trenutno uspostavlja sustav interoperabilnosti s budućim informacijskim sustavima koji će se koristiti na razini EU, a koji su u fazi razvoja. Riječ je o automatiziranom sustavu bilježenja ulaska i izlaska (Entry/Exit – EES) državljana trećih zemalja pri prelasku Schengenske granice i sustava za informacije o putovanjima (ETIAS).

Dok je uspostava ETIAS-a odgođena do proljeća 2025. godine, EES bi trebao biti uveden u jesen 2024. godine. EES sustav bi trebao čuvati biografske podatke i otiske prstiju državljana trećih zemalja starijih od 12 godina, a fotografije lica neovisno o dobi državljana trećih zemlja, dok bi ETIAS uz pomoć algoritama trebao pomoći nadležnim tijelima predvidjeti ukoliko osoba predstavlja sigurnosni rizik, rizik od iregularnih migracija i visoki epidemiološki rizik. Pritom se ETIAS odnosi samo na državljane država s kojima je EU u bezviznom režimu.

Obzirom na rizike ovakvih sustava za ljudska prava i pravo na jednakost u području migracija i granične kontrole, potrebno je osigurati transparentnost i kontrolu načina njihovog rada te upoznati javnost s njihovim korištenjem. Stoga su objava te pojašnjenje načina rada sustava UI koji se koriste od strane javne uprave od izuzetne važnosti.

Cijelo Izvješće pučke pravobraniteljice za 2023. možete otvoriti u interaktivnoj verziji i u PDF formatu.