Termini analiza, SPSS scoate p = 0,003 și, pentru o clipă, tot efortul pare să merite. Rezultatul e semnificativ statistic. Apoi coordonatorul citește ciorna și lasă o singură întrebare pe margine: „Da, dar cât de mare e efectul?” Întrebarea asta desparte semnificația statistică de cea practică și încurcă mai mulți studenți decât orice verificare de ipoteze sau problemă de date lipsă. Un rezultat poate fi real în sens statistic și, în același timp, prea mic pentru a-i păsa cuiva. Hai să vedem diferența, de ce eșantioanele mari o adâncesc și ce trebuie de fapt să raportezi.
Ce îți spune, de fapt, semnificația statistică
Valoarea p răspunde la o întrebare îngustă: dacă în populație chiar nu ar exista niciun efect, cât de des ar produce simpla întâmplare a eșantionării date cel puțin la fel de extreme ca ale tale? Când p = 0,003, răspunsul e de aproximativ 3 ori la 1.000. Destul de rar cât majoritatea cercetătorilor să respingă ipoteza nulă și să conchidă că se întâmplă altceva decât hazardul.
Observă cât de puțin cuprinde afirmația. Nu spune nimic despre mărimea efectului. Nu spune nimic despre dacă efectul contează clinic, educațional sau financiar. Nu îți spune nici măcar probabilitatea ca ipoteza ta să fie adevărată, cea mai frecventă citire greșită pe care o aduc studenții la susținere. Interpretările greșite sunt tratate în detaliu în ghidul despre interpretarea valorii p, iar dacă vrei să-ți verifici propria formulare, poți trece rezultatul prin instrumentul de interpretare a valorii p.
Pragul în sine e o convenție, nu o lege a naturii. Fisher a sugerat 0,05 ca reper comod prin anii 1920, iar domeniul l-a păstrat. Nu se schimbă nimic în realitate între p = 0,049 și p = 0,051, chiar dacă unul se publică mai ușor decât celălalt.
Valoarea p măsoară cât de surprinzătoare ar fi datele tale dacă ipoteza nulă ar fi adevărată. Măsoară compatibilitatea cu „niciun efect”, niciodată mărimea sau importanța efectului în sine.
Ce înseamnă semnificația practică
Semnificația practică pune altă întrebare: e efectul destul de mare cât să conteze în lumea reală? Răspunsul ține de context, cost și consecințe, nu de vreun calcul statistic.
Ia un studiu care găsește că o metodă nouă de predare ridică scorurile la examen cu 0,4 puncte pe o scală de 100, cu p < 0,001 datorită unui eșantion de 8.000 de studenți. Efectul e aproape sigur real. E și aproape sigur inutil. Nicio școală nu-și reinstruiește profesorii, nu-și rescrie materialele și nu-și restructurează orarul pentru mai puțin de o jumătate de punct. Un statistician ar spune că rezultatul e semnificativ statistic, dar neglijabil practic.
Domeniile clinice au formalizat ideea. Cercetătorii din zona depresiei lucrează cu conceptul de diferență minimă relevantă clinic: pe scala Hamilton de evaluare a depresiei, ghidurile britanice NICE tratau istoric o diferență de 3 puncte între medicament și placebo drept cea mai mică schimbare de care merită să-ți pese. Kirsch și colegii (2008), analizând datele de studii ale patru antidepresive, au găsit o diferență medie de aproximativ 1,8 puncte. Studiile erau semnificative statistic. Dacă erau și semnificative practic a devenit una dintre cele mai zgomotoase dezbateri din psihiatria deceniului, tocmai fiindcă testul de semnificație nu o putea lămuri.
Există și situația inversă. Un studiu-pilot cu 15 participanți pe grup poate arăta o îmbunătățire de 12 puncte care nu atinge pragul de 0,05. Efectul poate fi enorm practic și invizibil statistic, pur și simplu fiindcă studiul nu a avut destulă putere. Să-l respingi ca „niciun efect” ar fi o greșeală de același fel.
Problema volumului eșantionului
Iată motivul mecanic pentru care cele două concepte se despart: valoarea p depinde și de mărimea efectului, și de mărimea eșantionului. Ține efectul constant și crește eșantionul, iar valoarea p se apropie de zero. Cu destui participanți, orice diferență diferită de zero, oricât de banală, devine semnificativă statistic.
Aritmetica e brutală. Ca o corelație să atingă semnificația la pragul de 0,05, r trebuie să depășească aproximativ 1,96 împărțit la rădăcina din N. Cu 100 de participanți, îți trebuie r = 0,20. Cu 10.000, e de ajuns r = 0,02. Cu un milion, r = 0,002 trece pragul. Nimeni nu crede că o corelație de 0,002 ne spune ceva folositor despre comportamentul uman, și totuși primește aceeași steluță în tabelul de rezultate ca r = 0,60.
Experimentul Facebook despre contagiunea emoțională e cazul de manual. Kramer, Guillory și Hancock (2014) au manipulat fluxul de noutăți al 689.003 de utilizatori și au găsit efecte semnificative statistic asupra tonului emoțional al postărilor ulterioare. Mărimile efectului mergeau de la d = 0,001 la d = 0,02. Tradus în comportament brut, asta însemna ceva de ordinul unui cuvânt schimbat la mie. Titlurile spuneau că Facebook poate manipula emoțiile. Mărimile efectului spuneau că abia le poate împinge un pic.
Pentru studiile subdimensionate, lucrurile stau invers, motiv pentru care analiza de putere ține de etapa de proiectare, nu de cea de redactare. Ghidul despre volumul eșantionului arată cum alegi un N care poate detecta cel mai mic efect care ți-ar păsa cu adevărat, cea mai curată cale de a ține semnificația statistică și cea practică aliniate de la bun început.
Cu un eșantion destul de mare, totul devine semnificativ statistic. O valoare p minusculă într-un studiu cu mii de participanți poate reflecta precizie, nu importanță.
Mărimea efectului: puntea dintre cele două
Mărimea efectului cuantifică amploarea unui efect, pe o scală care nu se schimbă când eșantionul crește. E răspunsul standard la întrebarea de pe margine a coordonatorului, iar orice revistă serioasă din psihologie, educație și medicină o cere azi. Poți calcula indicatorii uzuali din rezultatele pe care le ai deja cu calculatorul de mărime a efectului, iar ghidul despre mărimea efectului îi acoperă pe cei mai rar întâlniți.
d al lui Cohen
Pentru compararea a două medii, d al lui Cohen exprimă diferența în unități de abatere standard: diferența dintre medii împărțită la abaterea standard comună. Un d de 0,5 înseamnă că grupurile diferă cu o jumătate de abatere standard. Cohen (1988) a propus pragurile 0,2 pentru mic, 0,5 pentru mediu și 0,8 pentru mare, avertizând că sunt valori implicite aproximative pentru situațiile fără un standard specific domeniului. Într-un domeniu, un d de 0,2 pentru o intervenție ieftină de sănătate publică aplicată la milioane de oameni poate salva vieți, în timp ce același d pentru o terapie individuală costisitoare poate să nu justifice nici măcar o ședință.
Eta pătrat și eta pătrat parțial
Pentru modelele ANOVA, eta pătrat raportează proporția din varianța totală a rezultatului explicată de factor. Un eta pătrat parțial de 0,06 înseamnă că factorul acoperă 6% din varianța relevantă. Pragurile convenționale sunt 0,01 (mic), 0,06 (mediu) și 0,14 (mare). SPSS afișează eta pătrat parțial la cerere, ceea ce face greu de scuzat absența lui frecventă din lucrări. Reține că valorile de eta pătrat parțial din modele cu numere diferite de factori nu sunt direct comparabile, un detaliu pe care evaluatorii îl verifică uneori.
Raportul șanselor
Pentru rezultate binare, raportul șanselor îți spune cât de mult se schimbă șansele unui eveniment între condiții. Un raport de 2,0 înseamnă că șansele se dublează. Rapoartele șanselor vin cu o capcană proprie: când evenimentul de bază e rar, un raport care sună dramatic poate descrie o schimbare absolută minusculă. Dublarea unui risc de 1 la 100.000 lasă tot un risc de 2 la 100.000. Raportarea diferenței absolute de risc lângă raportul șanselor păstrează cititorii sinceri cu privire la scară.
| Indicator | Folosire tipică | Mic | Mediu | Mare |
|---|---|---|---|---|
| d al lui Cohen | Comparații de medii, două grupuri (test t) | 0,2 | 0,5 | 0,8 |
| r al lui Pearson | Corelații | 0,10 | 0,30 | 0,50 |
| Eta pătrat | ANOVA | 0,01 | 0,06 | 0,14 |
| Raportul șanselor | Rezultate binare | 1,5 | 2,5 | 4,3 |
Tratează pragurile din tabel ca punct de plecare pentru interpretare, apoi argumentează din literatura domeniului tău. O frază precum „d-ul observat de 0,35 e mai mic decât d-ul de 0,51 raportat de Miller (2019) pentru o intervenție comparabilă” cântărește mult mai mult în capitolul de discuții decât „efectul a fost mic spre mediu”.
Rezultate celebre care erau reale, dar minuscule
Brațul cu aspirină al Physicians' Health Study (1989) e o ilustrare clasică. Printre 22.071 de medici bărbați repartizați aleatoriu la aspirină sau placebo, aspirina a redus infarctele cu p < 0,00001, iar comisia de monitorizare a oprit studiul devreme din motive etice. Rosnow și Rosenthal au arătat mai târziu că efectul corespundea unui r² de aproximativ 0,0011, adică aspirina explica cam o zecime de procent din varianța apariției infarctelor. Descoperirea a schimbat totuși practica medicală, fiindcă infarctele sunt letale, aspirina costă bănuți, iar chiar și o reducere absolută de 0,9 puncte procentuale la milioane de oameni se adună. Semnificația practică ține de miză, nu doar de mărime.
Pune în contrast tiparul din studiile de medicamente pe care autoritățile îl văd constant: un analgezic care demonstrează p < 0,001 pentru o îmbunătățire de 0,3 puncte pe o scală vizuală analogă de 100. Pacienții nu pot simți o schimbare de 0,3 puncte; majoritatea studiilor pun cel mai mic prag detectabil pe astfel de scale la 8–12 puncte. Semnificația statistică certifică aici doar că studiul a fost destul de mare cât să măsoare precis o diferență banală.
Cercetarea din educație produce același tipar. Studii de amploare asupra intervențiilor școlare raportează în mod curent efecte semnificative cu valori d în jur de 0,05, ceea ce corespunde mutării studentului mediu de la percentila 50 la percentila 52. Dacă asta justifică sau nu costul implementării e o întrebare de politică educațională, iar nicio valoare p nu-i poate răspunde.
Ce caută de fapt coordonatorul și comisia
Comisiile și evaluatorii citesc capitolele de rezultate după o listă destul de previzibilă. Vor statistica de test cu gradele ei de libertate, valoarea p exactă, o mărime a efectului și un interval de încredere. Apoi citesc capitolul de discuții ca să vadă dacă ai interpretat mărimea efectului sau doar ai raportat-o.
Cel mai dăunător tipar din scrisul studenților e ceea ce am putea numi raționamentul doar-prin-semnificație: capitolul de rezultate raportează valori p, iar capitolul de discuții tratează orice p < 0,05 drept descoperire confirmată și importantă, iar orice p > 0,05 drept dovadă a lipsei de efect. Evaluatorii semnalează ambele mișcări. Un rezultat semnificativ cu d = 0,11 merită o frază care recunoaște că efectul, deși probabil nu e întâmplare, e destul de mic cât să-i pui sub semnul întrebării utilitatea. Un rezultat nesemnificativ dintr-un eșantion de 40 merită o frază despre putere, nu o afirmație sigură că grupurile nu diferă.
Coordonatorii caută și semne că ți-ai ancorat interpretarea în literatură. Dacă studii anterioare ale intervenției tale au găsit efecte în jur de d = 0,6 și tu ai găsit d = 0,15, discrepanța asta e cel mai interesant lucru din lucrare. Explicarea ei îți aduce mai mult credit la susținere decât steluța de semnificație. Cum ești așteptat să interpretezi lângă cifre e detaliat în ghidul despre cum scrii capitolul de rezultate.
Ce spune APA 7 despre raportarea ambelor
Ediția a șaptea a manualului APA e explicită pe acest punct. Standardele ei de raportare pentru articole cantitative cer mărimi ale efectului și intervale de încredere pentru rezultatele principale, iar manualul afirmă că e aproape întotdeauna necesar să incluzi o măsură a mărimii efectului lângă testele de semnificație. Poziția asta vine de la Wilkinson și grupul de lucru pentru inferență statistică (1999), care le cereau autorilor să „prezinte mereu mărimile efectului pentru rezultatele principale”.
În practică, o frază de rezultate în stil APA arată așa:
Participanții din grupul de intervenție au obținut un scor mai mare (M = 74,2, SD = 8,1) decât cei din control (M = 70,9, SD = 8,4), t(198) = 2,83, p = 0,005, d = 0,40, IÎ 95% [0,12, 0,68].
Fiecare element își câștigă locul. Valoarea p stabilește că hazardul e o explicație puțin probabilă. d-ul îi spune cititorului că diferența e de patru zecimi dintr-o abatere standard. Intervalul de încredere arată că efectul ar putea fi, plauzibil, oriunde de la banal (0,12) la substanțial (0,68), ceea ce temperează orice pretenție mare din discuții. O frază de acest fel per ipoteză, apoi interpretarea mărimii efectului prin normele domeniului, dezamorsează aproape orice obiecție a evaluatorului înainte s-o ridice. Cum funcționează fiecare dintre cele două picioare ale acestei fraze afli în articolele despre mărimea efectului și despre intervalele de încredere.
APA 7 așteaptă trei lucruri pentru fiecare rezultat principal: valoarea p exactă, o mărime a efectului și un interval de încredere. Raportarea doar a semnificației e sub standard cel puțin din 1999.
Cum le pui cap la cap în lucrare
Aplică testele planificate și raportează valorile p exacte. Calculează o mărime a efectului pentru fiecare ipoteză testată, indiferent dacă rezultatul a fost semnificativ, și adaugă intervale de încredere acolo unde programul ți le oferă. În discuții, interpretează întâi amploarea și abia apoi semnificația, și compară-ți mărimile efectului cu rezultate publicate, nu doar cu etichetele generice ale lui Cohen. Când efectul e semnificativ, dar mic, spune-o direct și discută dacă ar conta pentru cineva din afara studiului. Combinația de sinceritate și context e ce vor să spună examinatorii când laudă un capitol de rezultate „matur”, și îți ia poate două fraze în plus per rezultat.