Pregătești un atelier de două ore și îi ceri unui chatbot să-ți organizeze programul.
Primești patru activități de câte 30 de minute și două pauze de câte 10 minute. La final scrie: „Programul se încadrează perfect în cele două ore”.
Totul arată ordonat. Copiezi planul și îl trimiți participanților.
Abia mai târziu aduni duratele: două ore și 20 de minute.
Informațiile necesare verificării erau chiar în fața ta. Dar concluzia sistemului a ținut locul propriului calcul.
Ce se întâmplă în mintea ta
Biasul automatizării descrie tendința de a ne baza excesiv pe recomandările sau semnalele unui sistem automatizat, în detrimentul verificării altor informații disponibile.
Poate apărea atât când urmăm o recomandare greșită, cât și când omitem o problemă fiindcă sistemul nu ne-a semnalat-o. Aceste două tipuri de erori au fost observate în cercetări experimentale despre folosirea sprijinului automatizat.
În exemplul atelierului, formularea „se încadrează perfect” poate deveni suficientă pentru a încheia verificarea.
Fenomenul nu este specific doar inteligenței artificiale generative: cercetarea lui precedă chatboturile actuale.
Unde îl mai poți întâlni
Un program de traducere îți oferă un mesaj fluent. Îl trimiți fără să-l compari cu originalul, deși un cuvânt important a schimbat sensul propoziției.
Un instrument de selecție recomandă o listă de candidați. Accepți clasamentul fără să verifici experiența relevantă a persoanelor eliminate.
Sau folosești o aplicație pentru verificarea unui document. Nu marchează nicio problemă, iar tu presupui că textul este corect și în privința aspectelor pe care aplicația nu le evaluează.
Acestea sunt exemple ilustrative. O greșeală a programului nu dovedește singură existența biasului; contează felul în care ne raportăm la rezultat și la informațiile care îl pot confirma sau contrazice.
Este greșit să ne bazăm pe tehnologie?
Nu. Instrumentele automate pot economisi timp și pot îmbunătăți rezultatele. Nici verificarea umană nu este infailibilă.
Întrebarea utilă este câtă încredere merită rezultatul pentru sarcina respectivă și ce verificare este necesară înainte să-l folosești.
În exemplul atelierului, nu trebuie să refaci întreaga planificare. O simplă însumare a duratelor este suficientă pentru a observa neconcordanța.
Ce știm din cercetare
Într-un experiment despre preselecția candidaților, participanții informați despre posibilele erori ale sistemului au prezentat indicatori mai buni de verificare decât cei care primiseră doar informații generale.
Simpla informare despre responsabilitatea lor pentru decizie nu a produs aceeași îmbunătățire. Studiul a folosit participanți studenți și o sarcină experimentală, deci rezultatele nu pot fi transferate automat tuturor profesiilor sau aplicațiilor.
Ce poți încerca
- Stabilește ce trebuie verificat. Pentru programul atelierului: durata totală, pauzele și timpul necesar instrucțiunilor.
- Compară rezultatul cu informațiile de plecare. Traducerea păstrează sensul? Rezumatul păstrează ideile importante? Calculul folosește toate valorile?
- Ia în serios contradicțiile. Dacă observi o neconcordanță, verific-o înainte să presupui că sistemul „știe mai bine”.
- Verifică ce acoperă instrumentul. Absența unei avertizări nu spune nimic despre aspectele pe care programul nu le controlează.
- Folosește o verificare independentă pentru elementele importante. Recalculează, consultă documentul original sau deschide sursa citată.
Aceste sugestii oferă puncte concrete de verificare, fără să garanteze eliminarea erorilor.
O întrebare de luat cu tine
„Ce am verificat eu înainte să accept recomandarea sistemului?”
Denumire și contexte
- Denumire în psihologie
- Biasul automatizării
- Termen în engleză
- Automation bias
- Îl mai întâlnești în
- informații și convingeri, bani și cumpărături, alegeri cotidiene și viitor.
- Concepte înrudite
- Biasul autorității; Decalajul alfabetizării AI; Difuzarea responsabilității în AI.
Surse
- Skitka, L. J., Mosier, K. L. & Burdick, M. (1999). Does automation bias decision-making?. International Journal of Human-Computer Studies, 51(5), 991–1006.
- Kupfer, C., Prassl, R., Fleiß, J., Malin, C., Thalmann, S. & Kubicek, B. (2023). Check the box! How to deal with automation bias in AI-based personnel selection. Frontiers in Psychology, 14, 1118723.