VISOKORIZIČNI AI SISTEMI

Za početak, nekoliko pitanja.

Gde povlačimo crtu između napretka i rizika? 

Šta uopšte znači „visoki rizik“ u svetu gde se sve menja iz dana u dan? 

Ovi sistemi nisu samo alatke; oni mogu postati i sredstvo koje, ukoliko se nađe u pogrešnim rukama, može naneti veliku štetu. Jesmo li spremni da sagledamo sve aspekte rizika ili se samo oslanjamo na nadu da će sve ispasti dobro?

...

Sada možemo preći na suštinu ovog teksta. 

Napomena > stepenik gore/stepenik dole odnosi se na upravo te nijanse koje opredeljuju da li je neki sistem prohvatljiv ili pak zabranjen. 

Poređenja radi.

Odluke o tome kako ćemo klasifikovati i regulisati ovakve sisteme daleko prevazilaze tehnička pitanja – one su suštinski etičke, društvene i pravne prirode. Možemo li pronaći pravi balans između inovacije i bezbednosti, a da pri tome ne žrtvujemo poverenje i osnovna prava korisnika? Upravo ti granični slučajevi, te retke ali ključne situacije, testiraju ne samo granice zakona, već i našu spremnost da preuzmemo odgovornost za posledice tehnologije koju kreiramo.

Šta su visokorizični AI sistemi prema Aktu?

Visokorizični AI sistemi su oni sistemi koji, zbog svoje primene, mogu imati ozbiljan uticaj na prava i bezbednost pojedinaca. Akt ih definiše kroz osam ključnih oblasti, a to su:

Biometrika

> Objašnjenje: AI sistemi za biometrijsku identifikaciju na daljinu, biometrijsku kategorizaciju prema osetljivim ili zaštićenim karakteristikama, i prepoznavanje emocija smatraju se visoko rizičnim jer rade sa vrlo osetljivim ličnim podacima. Ovi sistemi mogu imati veliki uticaj na privatnost pojedinaca, posebno ako se koriste bez jasnog pristanka ili kontrole. Upotreba takvih sistema može dovesti do značajnih povreda privatnosti ili čak diskriminacije.

> Primer: AI sistem koji identifikuje ljude na osnovu snimaka sa nadzornih kamera na javnim mestima radi sprečavanja sigurnosnih incidenata. Ovakav sistem koristi prepoznavanje lica da bi identifikovao potencijalno opasne osobe i pratio njihove aktivnosti.

> Stepenik dole: Biometrijski sistemi koji služe isključivo za verifikaciju identiteta pojedinaca, kao što je korišćenje otiska prsta za otključavanje mobilnog telefona, mogu biti klasifikovani kao niskorizični jer se koriste sa jasnim pristankom korisnika u specifičnim kontekstima, a rizik od zloupotrebe je znatno manji.

> Stepenik gore: Ako bi AI sistem koristio biometrijske podatke za predviđanje ponašanja ljudi ili donošenje odluka o pristupu određenim uslugama bez jasnog pristanka i nadzora, mogao bi biti kategorizovan kao zabranjen zbog visokog rizika od zloupotrebe i narušavanja osnovnih ljudskih prava.

Kritična infrastruktura

> Objašnjenje: AI sistemi koji su deo upravljanja ili bezbednosnih komponenti kritične infrastrukture, kao što su vodovod, snabdevanje energijom, ili digitalna infrastruktura, predstavljaju visoki rizik jer njihov kvar može prouzrokovati ozbiljne posledice po javnu bezbednost i zdravlje. Zbog toga, sistemi u ovoj oblasti moraju biti strogo kontrolisani i pažljivo nadgledani.

> Primer: AI sistem koji autonomno upravlja saobraćajnim signalima kako bi optimizovao tok vozila u velikom gradu. U slučaju greške ili loše kalibracije, ovakav sistem može izazvati saobraćajne nesreće, što može dovesti do povreda ili čak smrti.

> Stepenik dole: AI sistemi koji služe samo za monitoring, dok ljudski operateri donose konačne odluke o tome kako reagovati, mogli bi biti klasifikovani drugačije jer ne nose direktnu odgovornost za donošenje kritičnih odluka.

Obrazovanje i stručno osposobljavanje

> Objašnjenje: AI sistemi koji odlučuju o pristupu obrazovnim ili stručnim programima, procenjuju rezultate učenja ili nadziru ponašanje tokom ispita smatraju se visoko rizičnim jer mogu prouzrokovati diskriminaciju i uticati na životne prilike pojedinca. Ovi sistemi mogu nositi pristrasnosti koje potiču iz podataka na kojima su obučeni, što može dovesti do nepravednog vrednovanja kandidata.

> Primer: AI sistem koji procenjuje podobnost studenata za prijem na univerzitet na osnovu njihovih prethodnih ocena, rezultata testova i drugih faktora. Ovakvi sistemi mogu nenamerno favorizovati studente iz povlašćenih pozadina zbog podataka koji odražavaju postojeće društvene nejednakosti.

> Stepenik dole: AI sistemi koji pomažu nastavnicima u prilagođavanju nastavnih planova potrebama učenika, ali bez donošenja konačnih odluka o njihovom uspehu ili budućem obrazovanju, mogu se smatrati niskorizičnima jer nastavnici ima poslednju reč.

Zapošljavanje i upravljanje radnicima

> Objašnjenje: AI sistemi za regrutaciju, selekciju kandidata, donošenje odluka o zapošljavanju ili nadzor nad radnicima smatraju se visoko rizičnim jer mogu narušiti prava na privatnost, pravednost i nediskriminaciju. Odluke o zapošljavanju mogu značajno uticati na životne prilike pojedinca, a pristrasnosti u sistemu mogu dovesti do nejednakog tretmana.

> Primer: AI sistem koji automatski filtrira prijave kandidata za posao na osnovu njihovih kvalifikacija i ranijeg radnog iskustva. Takvi sistemi mogu nehotice diskriminisati kandidate na osnovu implicitnih pristrasnosti u podacima, kao što su pol, starost ili socijalno-ekonomski status.

> Stepenik dole: Sistemi koji daju preporuke ljudskim regruterima bez donošenja samostalnih odluka o zapošljavanju mogu biti klasifikovani drigačije jer odgovornost za konačne odluke i dalje leži na ljudskim regruterima koji mogu prepoznati i korigovati eventualne pristrasnosti.

Pristup osnovnim uslugama i javnim beneficijama

> Objašnjenje: AI sistemi koji se koriste za procenu podobnosti za osnovne usluge ili javne beneficije, kao što su krediti, osiguranje, ili socijalna pomoć, smatraju se visoko rizičnim jer greške u proceni mogu dovesti do uskraćivanja vitalnih usluga za pojedince koji zavise od njih. Takve odluke mogu imati ozbiljan uticaj na životne uslove korisnika.

> Primer: AI sistem koji odlučuje o tome da li pojedinac može dobiti kredit na osnovu procene njegovog kreditnog rizika. Ovakvi sistemi mogu nenamerno diskriminisati korisnike na osnovu podataka koji su pristrasni prema određenim demografskim grupama, što može dodatno povećati ekonomske nejednakosti.

> Stepenik dole: Sistemi koji služe za prikupljanje i sortiranje podataka, ali gde poslednju reč u vezi sa odobravanjem ili odbijanjem kredita ima ljudski operater, mogu se smatrati niskorizičnim jer ljudska procena omogućava prepoznavanje i ispravljanje potencijalnih grešaka ili pristrasnosti.

Sprovođenje zakona

> Objašnjenje: AI sistemi koji se koriste za podršku sprovođenju zakona, kao što su sistemi za procenu rizika od ponovnog izvršenja krivičnog dela, poligrafska ispitivanja, ili analiza dokaza, klasifikuju se kao visoko rizični jer mogu značajno uticati na slobodu pojedinaca i pravo na pravično suđenje. Bilo kakva greška ili pristrasnost može imati ozbiljne posledice po život i slobodu osoba koje su predmet ovih analiza.

> Primer: AI sistem koji analizira kriminalne dosijee i procenjuje verovatnoću ponovnog izvršenja krivičnog dela može doneti pogrešne ili pristrasne zaključke koji će uticati na odluke o produženju pritvora ili uslovnom otpustu.

> Stepenik dole: Sistemi koji pomažu istražiteljima u analizi velikih količina podataka, kao što su pretraga dokaza ili povezivanje informacija, bez donošenja konačnih odluka, mogu biti klasifikovani kao niskorizični jer krajnje odluke donose ljudi.

> Stepenik gore: AI sistem koji autonomno donosi odluke o krivičnoj odgovornosti ili procenjuje verodostojnost dokaza bez ikakvog ljudskog nadzora može biti zabranjen zbog visokog rizika od grešaka i narušavanja prava na pravično suđenje.

Migracija, azil i kontrola granica

> Objašnjenje: AI sistemi koji se koriste za procenu rizika ili donošenje odluka u vezi sa migracijom, azilom i kontrolom granica smatraju se visoko rizičnim jer njihove greške mogu dovesti do ozbiljnih povreda prava ljudi koji traže zaštitu. Posebno je važno da ovi sistemi budu nepristrasni i transparentni, jer odluke u vezi sa migracijom često imaju trajne posledice po živote ljudi.

> Primer: AI sistem koji automatski procenjuje da li podnosilac zahteva za azil ispunjava uslove za dobijanje zaštite na osnovu podataka kao što su njegova istorija putovanja i izjave. Greške u analizi ili pristrasnosti mogu dovesti do odbijanja legitimnih zahteva za azil.

> Stepenik dole: Sistemi koji asistiraju zvaničnicima u prikupljanju i analizi podataka, ali gde ljudski operateri donose krajnje odluke o dodeli ili odbijanju azila, mogu se smatrati niskorizičnima jer ljudska kontrola omogućava da se procene i isprave eventualne greške.

Pravosuđe i demokratski procesi

> Objašnjenje: AI sistemi koji se koriste za podršku sudijama u pravosudnim procesima ili za uticaj na demokratske procese smatraju se visoko rizičnim jer mogu narušiti osnovna prava, pravnu sigurnost i integritet demokratskih procesa. Nepravilna primena ovih sistema može dovesti do donošenja pristrasnih presuda ili nepravednog uticaja na izbore.

> Primer: AI sistem koji sudijama daje preporuke o presudama na osnovu analize ranijih sudskih slučajeva. Ovakav sistem može prenositi pristrasnosti koje su prisutne u prethodnim odlukama, što može negativno uticati na pravičnost sudskih postupaka.

> Stepenik dole: AI alati koji služe za pretragu i organizaciju presuda, bez davanja konkretnih preporuka sudijama, mogu se smatrati niskorizičnima jer služe samo kao pomoćne alatke, a odluke i dalje donose sudije.

> Stepenik gore: AI sistemi koji autonomno donose presude ili direktno utiču na donošenje pravnih odluka bez nadzora sudije mogli bi biti zabranjeni zbog visokog rizika od nepravičnih i pristrasnih odluka.

Zašto su važne nijanse?

Rizik nikada nije crno bela kategorija, kao što videsmo > ključna razlika leži u nijansama. 

Visoko rizični AI sistemi neretko operišu u sivoj zoni – tamo gde tehnologija može biti i alat za napredak, ali i izvor nepredviđenih opasnosti. Upravo te suptilne razlike odlučuju da li će AI postati naš pouzdan saveznik ili potencijalni izvor zloupotrebe. Imamo li kapacitet da se suočimo s kompleksnim pitanjima etike i rizika bez pojednostavljenja? Jesmo li spremni da preuzmemo odgovornost za svaku liniju koda i svaku odluku koja utiče na budućnost?

Tehnologija sama po sebi ne može garantovati bezbednost, niti može odlučiti šta je ispravno. Na nama je da postavimo pravila koja će osigurati da AI sistemi budu u skladu sa vrednostima koje negujemo – transparentnost, odgovornost i poštovanje ljudskih prava. 

Okej, napredak je neizbežan, ali pitanje je kakav napredak želimo. Hoćemo li stvoriti alate koji rade za nas ili rizikovati da izgubimo kontrolu? I za kraj brdo pitanja, znam. Odgovor leži u našoj spremnosti da definišemo i poštujemo granice koje postavljamo tehnologiji. 

Ili ne, čudan svet danas. I dalje revoltirana dešavanjima u Srbiji, stoga danas malo pesimistično. Da.

***

O obavezama za kompanije koje razvijaju ovakve sisteme sledeći put.