Imaginează-ți că analizezi rezultatele unei campanii.
La nivel general, diferența dintre două variante este mică. Compari apoi separat grupele de vârstă, zilele săptămânii, tipurile de dispozitive și mai multe intervale orare.
Într-unul dintre subgrupuri apare o diferență impresionantă.
Poate ai descoperit ceva real. Dar cât de surprinzător este rezultatul după toate comparațiile făcute?
Dacă prezinți doar subgrupul respectiv, cititorul poate avea impresia că aceasta fusese singura verificare.
Ce se întâmplă în mintea ta
Efectul „caută în altă parte” privește diferența dintre caracterul neobișnuit al unui rezultat într-un loc stabilit dinainte și probabilitatea de a găsi un rezultat la fel de neobișnuit undeva într-o căutare mai largă.
Gross și Vitells discută această problemă în căutarea semnalelor din fizica particulelor. Evaluarea trebuie să țină cont de întregul interval explorat.
În exemplul campaniei, subgrupul câștigător a fost ales după examinarea rezultatelor. Această selecție face parte din informația necesară interpretării.
Unde îl mai poți întâlni
- În cercetare. Sunt încercate multe rezultate, subgrupuri sau variante de analiză.
- În marketing. Este raportat segmentul în care campania a mers cel mai bine.
- În analiza performanței. Dintre multe perioade, este aleasă cea care arată diferența dorită.
- În știri despre date. Un rezultat izolat este prezentat fără amploarea căutării.
Aceste situații nu stabilesc automat că rezultatul este fals. Ele schimbă ce verificări sunt necesare.
Ce știm din cercetare
Gross și Vitells au propus metode pentru cuantificarea efectului în căutări statistice din fizică, distingând între semnificația locală și cea care ține cont de aria explorată.
Simmons, Nelson și Simonsohn au arătat, prin simulări și experimente, că flexibilitatea neraportată în colectarea și analiza datelor poate crește substanțial rata rezultatelor fals pozitive.
Ca exemplu matematic simplificat: dacă 20 de teste sunt independente, toate ipotezele nule sunt adevărate și fiecare test are o rată de alarmă falsă de 5%, probabilitatea cel puțin unei alarme false este de aproximativ 64%. Dependența dintre teste schimbă calculul.
Este greșit să explorezi datele?
Explorarea poate genera întrebări valoroase. În exemplul campaniei, subgrupul observat poate deveni o ipoteză pentru o verificare ulterioară.
Contează să fie clar ce fusese stabilit înainte, ce a fost descoperit pe parcurs și dacă rezultatul se menține în date noi.
Ce poți încerca
- Întreabă câte comparații au fost făcute. Ce alte variante au fost examinate?
- Verifică planul inițial. Analiza fusese stabilită înainte de rezultate?
- Păstrează istoricul explorării. Include și verificările fără rezultate favorabile.
- Ține cont de căutările multiple. Metoda statistică trebuie adaptată situației.
- Caută o verificare independentă. Se repetă rezultatul într-un set nou de date?
O întrebare de luat cu tine
Cât de surprinzător mai este acest rezultat dacă iau în calcul toate locurile în care l-am căutat?
Denumire și contexte
- Concept
- Efectul „caută în altă parte”
- Termen în engleză
- Look-elsewhere effect
- Alte domenii
- Muncă și învățare; Bani și cumpărături
- Concepte conexe
- Corelația iluzorie; Biasul de confirmare; Iluzia validității
Surse
- Gross, E., & Vitells, O. (2010). Trial factors for the look elsewhere effect in high energy physics. European Physical Journal C, 70, 525–530. Articol
- Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). False-positive psychology: Undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science, 22(11), 1359–1366. Articol