Inteligența artificială poate reproduce prejudecățile de gen ale oamenilor, chiar și atunci când este folosită pentru o activitate aparent neutră, precum descrierea fotografiilor. Un studiu publicat în 2020 a arătat că unele sisteme de recunoaștere a imaginilor aveau tendința de a descrie femeile prin aspectul fizic, în timp ce bărbații erau asociați mai frecvent cu profesia, autoritatea și statutul social. Rezultatele arată că un algoritm poate identifica detalii reale dintr-o imagine și, în același timp, poate produce clasificări influențate de stereotipuri.
Fenomenul este cunoscut sub numele de bias algoritmic, iar atunci când diferențele de tratament sunt asociate cu genul vorbim despre bias de gen. Problema nu presupune că un calculator are convingeri personale sau intenții discriminatorii, ci că sistemele informatice pot învăța tipare din date care reflectă prejudecăți și inegalități existente în societate.
Consecințele pot depăși simpla alegere a unor cuvinte pentru descrierea fotografiilor. Atunci când organizațiile utilizează etichete generate automat pentru arhive digitale, căutări sau clasificarea informațiilor, anumite persoane și realizările lor profesionale pot deveni mai puțin vizibile.
De ce inteligența artificială poate fi sexistă?
Modelele de inteligență artificială utilizate pentru recunoașterea imaginilor sunt antrenate să identifice obiecte, persoane, activități și caracteristici vizuale. Pentru a face acest lucru, ele învață din colecții mari de fotografii, însoțite de descrieri sau etichete care le indică ce anume ar trebui să recunoască.
Dacă aceste colecții asociază disproporționat femeile cu frumusețea, îngrijirea personală sau activitățile domestice și bărbații cu autoritatea, afacerile ori tehnologia, modelele pot învăța aceleași asocieri. În anumite condiții, ele le pot reproduce chiar și atunci când fotografia analizată nu justifică o asemenea interpretare.
Acest mecanism explică de ce inteligența artificială nu este automat neutră doar pentru că funcționează pe baza unor calcule matematice. Rezultatele depind de datele utilizate, de modul în care acestea au fost selectate și etichetate, dar și de obiectivele și metodele de evaluare ale sistemului.
Ce au descoperit cercetătorii analizând fotografiile membrilor Congresului SUA?
O echipă internațională de cercetători coordonată de Carsten Schwemmer, de la GESIS – Leibniz Institute for the Social Sciences din Köln, Germania, a investigat biasul de gen în sistemele comerciale de recunoaștere a imaginilor. Studiul, publicat în 2020 în revista Socius, a utilizat fotografii ale membrilor Congresului Statelor Unite pentru a analiza felul în care algoritmii clasificau femeile și bărbații.
Cercetătorii au folosit două categorii de imagini: portrete oficiale ale membrilor celui de-al 115-lea Congres și fotografii publicate de acești politicieni pe Twitter. Portretele oficiale erau deosebit de utile pentru comparație, deoarece persoanele fotografiate aveau aceeași categorie profesională, iar imaginile prezentau caracteristici relativ asemănătoare.
Fotografiile au fost analizate cu ajutorul unor servicii comerciale de recunoaștere a imaginilor, inclusiv Google Cloud Vision. Echipa a examinat apoi etichetele atribuite automat și diferențele dintre descrierile generate pentru femei și bărbați.
Rezultatele au arătat că sistemele testate nu selectau întotdeauna aceleași tipuri de informații atunci când descriau persoane de genuri diferite. Chiar dacă toți cei fotografiați erau membri ai Congresului, femeile erau prezentate mai frecvent prin trăsături fizice, iar bărbații prin caracteristici asociate profesiei și statutului.
Femeile erau descrise prin aspectul fizic, iar bărbații prin profesie
Una dintre cele mai importante constatări a fost diferența dintre categoriile de etichete atribuite fotografiilor. În analiza realizată asupra portretelor oficiale, imaginile femeilor au primit de aproximativ trei ori mai multe etichete referitoare la caracteristicile fizice decât imaginile bărbaților.
În cazul femeilor apăreau mai frecvent termeni referitori la zâmbet, coafură, culoarea părului sau frumusețe. În schimb, portretele bărbaților erau asociate mai des cu termeni precum „oficial”, „om de afaceri”, „purtător de cuvânt” sau alte descrieri care sugerau autoritate și statut profesional.
Diferența este importantă deoarece persoanele din fotografii ocupau funcții comparabile. În loc să reflecte în mod echilibrat statutul profesional al tuturor, sistemul acorda o atenție disproporționată unor caracteristici diferite în funcție de gen.
Problema nu era că fiecare etichetă individuală ar fi fost neapărat falsă. O persoană poate avea într-adevăr părul lung sau poate zâmbi într-o fotografie, însă selectarea repetată a acestor detalii pentru femei și a atributelor profesionale pentru bărbați poate consolida un stereotip social.
Cum poate o etichetă corectă să producă totuși discriminare?
Un sistem de recunoaștere a imaginilor poate identifica în mod corect un detaliu vizibil, dar poate alege în mod părtinitor ce informație consideră suficient de importantă pentru a fi menționată. Această diferență dintre corectitudinea unei etichete și selecția ei sistematică se află în centrul cercetării coordonate de Carsten Schwemmer.
De exemplu, atât femeile, cât și bărbații pot avea trăsături fizice vizibile și pot ocupa funcții importante. Dacă algoritmul evidențiază constant aspectul femeilor și ocupația bărbaților, descrierile rezultate construiesc reprezentări diferite ale unor persoane care au un statut profesional asemănător.
Studiul a identificat inclusiv utilizarea unor etichete precum „fată” pentru femei adulte, în timp ce bărbații puteau primi descrieri asociate unui statut social mai ridicat. O asemenea diferență ilustrează modul în care stereotipurile culturale pot apărea în vocabularul utilizat de sistemele informatice.
Aceste rezultate nu demonstrează că toate instrumentele AI descriu femeile în același mod. Ele arată însă că un sistem poate prezenta un tipar de clasificare discriminatoriu chiar dacă multe dintre caracteristicile recunoscute sunt reale.
De ce prejudecățile algoritmilor pot face femeile mai puțin vizibile?
Etichetele generate automat nu sunt folosite doar pentru a descrie fotografii. Ele pot contribui la organizarea unor baze de date, la indexarea arhivelor și la recuperarea imaginilor prin motoare interne de căutare.
Imaginați-vă o instituție publică sau o companie care utilizează un sistem AI pentru a organiza fotografiile persoanelor care au primit premii ori au participat la evenimente profesionale. Dacă imaginile bărbaților sunt etichetate frecvent cu termeni referitori la profesie sau realizări, iar imaginile femeilor sunt clasificate în funcție de zâmbet și coafură, rezultatele căutărilor pot deveni dezechilibrate.
O persoană care caută fotografii asociate conducerii, activităților profesionale sau unor funcții importante ar putea găsi mai ușor imagini ale bărbaților. Fotografiile femeilor pot exista în aceeași arhivă, dar pot fi mai dificil de identificat prin aceleași expresii de căutare.
O clasificare părtinitoare poate afecta vizibilitatea realizărilor profesionale, chiar dacă nu presupune eliminarea efectivă a fotografiilor. Acesta este un risc posibil al utilizării necritice a etichetelor automate, nu un incident demonstrat în fiecare organizație care folosește asemenea tehnologii.
De unde învață AI stereotipurile despre femei și bărbați?
O parte importantă a explicației se află în procesul de antrenare. Sistemele de inteligență artificială învață din date, iar aceste date sunt colectate, organizate și descrise în contexte sociale în care anumite reprezentări sunt mai frecvente decât altele.
Dacă un set de imagini conține mai multe fotografii cu bărbați prezentați în activități profesionale și mai multe fotografii cu femei prezentate în contexte domestice, modelul poate identifica această distribuție ca pe o asociere utilă pentru clasificare. Problema apare atunci când asocierea statistică este utilizată ca substitut pentru informația reală dintr-o fotografie nouă.
De asemenea, etichetele atribuite imaginilor pot reflecta alegerile persoanelor care au creat bazele de date. Un sistem poate învăța nu doar ce obiecte apar în fotografii, ci și care dintre caracteristicile lor au fost considerate relevante în procesul de descriere.
Prin urmare, prejudecățile nu trebuie să fie introduse în mod intenționat pentru a apărea în rezultatele algoritmilor. Ele pot proveni din dezechilibre de reprezentare, din modul de etichetare sau din relațiile statistice pe care modelul le învață în timpul antrenării.
Ce a demonstrat studiul din 2017 despre femeile asociate cu gătitul?
Un studiu realizat în 2017 de cercetători de la Universitatea din Virginia și instituții colaboratoare a arătat că bazele de date utilizate pentru antrenarea sistemelor de recunoaștere vizuală pot conține asocieri puternice între gen și anumite activități. Lucrarea, intitulată Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints, a analizat atât datele de antrenare, cât și rezultatele modelelor dezvoltate pe baza acestora.
Cercetătorii au observat că în unele colecții de imagini femeile erau asociate disproporționat cu activități precum gătitul sau cumpărăturile, în timp ce bărbații apăreau mai frecvent în contexte legate de anumite activități profesionale, sport sau utilizarea armelor de foc. Aceste tipare puteau influența modul în care sistemele clasificau scenele fotografiate.
În cazul activității de gătit, de exemplu, dezechilibrul prezent în datele de antrenare era amplificat în predicțiile modelului. Astfel, sistemul putea ajunge să asocieze și mai puternic această activitate cu femeile decât o făceau imaginile din care învățase.
Fenomenul este important deoarece demonstrează că un algoritm nu reproduce întotdeauna pasiv distribuția informațiilor din setul de antrenare. Unele modele pot accentua diferențele existente, transformând un dezechilibru statistic într-un tipar de clasificare și mai pronunțat.
De ce inteligența artificială poate amplifica prejudecățile umane?
Atunci când un model învață că anumite obiecte și activități apar frecvent împreună, poate utiliza această asociere pentru a interpreta fotografii noi. În multe situații, această capacitate este utilă, deoarece informațiile din context contribuie la identificarea obiectelor și a acțiunilor.
Problemele apar atunci când modelul se bazează excesiv pe o asociere stereotipă. Dacă a întâlnit foarte multe imagini în care femeile gătesc, ar putea atribui cu o probabilitate disproporționată această activitate femeilor chiar și în situații în care datele vizuale nu susțin concluzia.
Un asemenea mecanism poate transforma un dezechilibru existent în societate într-o predicție care pare obiectivă doar pentru că a fost produsă automat. Utilizatorii pot avea impresia că rezultatul reflectă exclusiv ceea ce se vede în fotografie, fără să observe influența datelor folosite la antrenare.
Studiul din 2017 a demonstrat că aceste amplificări pot fi măsurate și că există metode pentru reducerea lor. Totuși, eficiența unei soluții depinde de model, de setul de date și de tipul de prejudecată investigat.
Este AI sexistă pentru că majoritatea programatorilor sunt bărbați?
Prezența prejudecăților într-un sistem de inteligență artificială nu poate fi explicată automat prin genul persoanelor care l-au programat. Cercetările despre clasificarea imaginilor indică mecanisme concrete, precum dezechilibrele din datele de antrenare și modul în care modelele învață să asocieze anumite caracteristici cu anumite categorii.
Componența echipelor de dezvoltare poate influența întrebările pe care acestea le formulează, diversitatea perspectivelor luate în considerare și capacitatea de a identifica anumite riscuri. Totuși, ar fi greșit să considerăm că un sistem creat de bărbați este automat discriminatoriu sau că unul creat de femei ar fi în mod necesar lipsit de prejudecăți.
Problema este mai amplă și privește întregul proces de dezvoltare: alegerea datelor, definirea etichetelor, stabilirea obiectivelor și testarea rezultatelor. Un sistem poate produce clasificări părtinitoare chiar dacă dezvoltatorii nu au intenționat acest lucru.
Din această perspectivă, identificarea biasului necesită evaluarea empirică a rezultatelor, nu presupuneri despre intențiile sau caracteristicile personale ale celor care au construit tehnologia.
Ce legătură există între stereotipurile sociale și discriminarea digitală?
Stereotipurile de gen sunt convingeri generalizate despre caracteristicile, abilitățile sau rolurile considerate tipice pentru femei și bărbați. Ele pot influența modul în care oamenii evaluează competența profesională, comportamentul social sau aspectul fizic al celorlalți.
În cazul sistemelor AI, aceste reprezentări pot fi transformate în tipare statistice utilizate automat pentru clasificare. Astfel, o prejudecată culturală poate fi reprodusă la scară mare, fără ca fiecare utilizator să fie conștient de mecanismul din spatele rezultatelor.
Efectele stereotipurilor apar și înainte ca oamenii să utilizeze instrumente de inteligență artificială. De exemplu, prejudecățile de gen pot influența așteptările fetelor și băieților cu privire la viitorul profesional, contribuind la diferențe în felul în care aceștia își percep oportunitățile.
Atunci când aceleași reprezentări ajung în sistemele informatice, există riscul ca ele să fie consolidate prin instrumente considerate neutre. De aceea, cercetarea biasului algoritmic implică atât informatică și statistică, cât și înțelegerea psihologică și sociologică a stereotipurilor.
Cum poate AI să transforme aspectul fizic într-un criteriu de evaluare?
Etichetarea fotografiilor pe baza trăsăturilor fizice nu este întotdeauna problematică. În anumite aplicații, identificarea culorilor, a expresiilor faciale sau a altor detalii vizibile poate avea un scop tehnic legitim.
Problema apare atunci când caracteristicile fizice sunt evidențiate disproporționat pentru anumite categorii de persoane sau sunt utilizate pentru a sugera valoarea, competența ori statutul social. În aceste situații, un instrument tehnologic poate consolida ideea că unele persoane trebuie evaluate în primul rând prin aspect.
Riscul este relevant și pentru aplicațiile care încearcă să transforme frumusețea într-un scor numeric. Unele instrumente prezintă evaluări automate ale fețelor ca și cum ar reprezenta măsurători obiective ale atractivității, deși standardele estetice sunt influențate de numeroși factori culturali și sociali.
Aceste probleme sunt discutate și în analiza despre aplicațiile care acordă note aspectului fizic și riscurile lor pentru copii. Deși scopul acestor instrumente diferă de cel al sistemelor de arhivare a fotografiilor, ambele exemple arată de ce rezultatele automate trebuie interpretate critic.
Ce este REVISE și cum poate identifica prejudecățile din imaginile folosite pentru AI?
Identificarea prejudecăților înainte ca un sistem să fie utilizat reprezintă una dintre direcțiile importante de cercetare în domeniul inteligenței artificiale. O contribuție în acest sens este instrumentul REVISE, dezvoltat de cercetători de la Universitatea Princeton.
Denumirea provine din expresia engleză REvealing VIsual biaSEs, care poate fi tradusă prin identificarea prejudecăților din datele vizuale. Instrumentul a fost prezentat în cadrul conferinței European Conference on Computer Vision din 2020.
REVISE a fost conceput pentru a ajuta cercetătorii să investigheze colecții mari de imagini și să identifice posibile dezechilibre înainte ca acestea să fie utilizate pentru antrenarea modelelor. Analiza poate evidenția tipare referitoare la obiectele reprezentate, persoanele din fotografii și distribuția geografică a imaginilor.
În cazul reprezentării persoanelor, instrumentul poate ajuta la identificarea unor asocieri stereotipe care altfel ar putea trece neobservate. De exemplu, o bază de date ar putea conține disproporționat imagini ale femeilor în anumite contexte și ale bărbaților în altele.
REVISE nu elimină automat toate prejudecățile, ci oferă informații care pot ghida evaluarea și îmbunătățirea seturilor de date. Interpretarea rezultatelor și alegerea măsurilor potrivite rămân responsabilitatea celor care dezvoltă și utilizează sistemele.
Pot fi corectate prejudecățile de gen din inteligența artificială?
Cercetările arată că anumite forme de bias algoritmic pot fi reduse prin intervenții asupra datelor și modelelor. Un prim pas constă în identificarea dezechilibrelor din colecțiile utilizate pentru antrenare, inclusiv a situațiilor în care anumite categorii de persoane sunt reprezentate disproporționat.
O altă direcție privește modul de învățare al algoritmului. Studiul realizat în 2017 de Jieyu Zhao și colaboratorii săi a investigat metode de limitare a amplificării prejudecăților de gen prin constrângeri aplicate procesului de clasificare.
Astfel de abordări pot reduce tendința modelului de a reproduce exagerat anumite asocieri stereotipe. Totuși, o intervenție eficientă într-un set de date sau într-o sarcină experimentală nu garantează aceleași rezultate în toate sistemele de inteligență artificială.
Reducerea prejudecăților presupune și evaluarea continuă a rezultatelor, inclusiv după introducerea sistemului într-un mediu real. Datele, populațiile și utilizările se pot schimba, iar un instrument care funcționează bine într-un anumit context poate produce rezultate problematice în altul.
De ce este important ca rezultatele AI să fie verificate de oameni?
Clasificările generate de inteligența artificială pot fi utile pentru organizarea unor volume mari de informații, dar nu ar trebui considerate automat complete sau imparțiale. Un sistem poate avea o performanță tehnică bună la recunoașterea obiectelor și poate prezenta totuși diferențe sistematice în descrierea anumitor persoane.
De aceea, organizațiile care utilizează asemenea instrumente ar trebui să examineze dacă etichetele produse reflectă scopul real al activității. Într-o arhivă de imagini profesionale, de exemplu, poate fi mai relevantă identificarea funcției și a contextului evenimentului decât evidențierea aspectului fizic.
Verificarea umană trebuie să fie însoțită și de criterii clare, deoarece oamenii pot avea propriile prejudecăți. Simpla înlocuire a unei decizii automate cu o decizie umană nu elimină, prin ea însăși, riscul discriminării.
O evaluare responsabilă presupune compararea rezultatelor între grupuri, examinarea erorilor și stabilirea unor proceduri de corectare. Transparența privind limitele sistemului poate ajuta utilizatorii să înțeleagă când rezultatele trebuie tratate cu prudență.
Ce consecințe psihologice pot avea stereotipurile reproduse de AI?
Atunci când femeile sunt reprezentate în mod repetat prin frumusețe și aparență, iar bărbații prin realizări și autoritate, aceste diferențe pot contribui la perpetuarea unor așteptări sociale inegale. Sistemele informatice nu creează neapărat asemenea stereotipuri, dar le pot face mai vizibile și mai frecvente prin utilizarea lor la scară largă.
Evaluarea repetată a persoanelor prin caracteristici fizice poate influența felul în care acestea sunt percepute și modul în care ajung să se raporteze la propria imagine. Totuși, studiul despre etichetarea fotografiilor membrilor Congresului nu a măsurat direct efectele psihologice asupra persoanelor fotografiate.
În mediul online, presiunea legată de aspect este alimentată și de alte mecanisme, precum comparația socială și standardele estetice promovate prin imagini. Un exemplu este analizat în articolul despre fotografiile de tip „înainte și după” și influența lor asupra stimei de sine.
Aceste fenomene arată de ce tehnologia trebuie evaluată și din perspectiva consecințelor sociale. Corectitudinea unei clasificări nu poate fi apreciată exclusiv prin identificarea unor detalii vizuale, fără a lua în considerare contextul și utilizarea rezultatului.
Ce ne învață cercetările despre prejudecățile inteligenței artificiale?
Studiile publicate în 2017 și 2020 demonstrează că sistemele de recunoaștere a imaginilor pot prelua și, în anumite condiții, amplifica stereotipurile existente în datele pe care le utilizează. Cercetarea coordonată de Carsten Schwemmer a evidențiat diferențe importante între etichetele atribuite fotografiilor femeilor și bărbaților, chiar și atunci când persoanele analizate aveau aceeași categorie profesională.
Rezultatele subliniază o limitare esențială a automatizării: o clasificare poate fi corectă din punct de vedere descriptiv, dar părtinitoare prin alegerea sistematică a informațiilor evidențiate. În astfel de situații, utilizarea necritică a etichetelor poate afecta vizibilitatea și reprezentarea unor grupuri.
Instrumente precum REVISE și metodele de reducere a amplificării biasului oferă modalități concrete de investigare a problemelor, fără să reprezinte soluții universale. Evaluarea datelor, testarea diferențelor dintre grupuri și verificarea rezultatelor rămân importante pentru dezvoltarea unor sisteme mai echitabile.
Inteligența artificială nu este neutră doar pentru că este automată. Modul în care descrie lumea depinde de informațiile din care învață și de regulile după care le interpretează, iar identificarea prejudecăților este un pas necesar pentru utilizarea responsabilă a tehnologiei.
Rezultatele cercetării principale pot fi consultate în studiul Diagnosing Gender Bias in Image Recognition Systems. Pentru aprofundarea mecanismelor de amplificare a stereotipurilor și a metodelor de evaluare, sunt disponibile și cercetările Men Also Like Shopping: Reducing Gender Bias Amplification using Corpus-level Constraints și REVISE: A Tool for Measuring and Mitigating Bias in Visual Datasets.
Leave a Reply