Valori lipsă în baza de date: ce faci în SPSS

Deschizi fișierul de date în SPSS, aplici o regresie pe 240 de respondenți, iar rezultatul spune „N = 178”. Șaizeci și doi de cazuri au dispărut. Fără avertisment, fără mesaj de eroare. SPSS a scos în tăcere fiecare rând care avea măcar o celulă goală printre variabilele tale, iar analiza ta stă acum pe 74% din datele pe care le-ai strâns efectiv. Ștergerea asta tăcută e excluderea de tip listwise și e comportamentul implicit în aproape orice procedură. Dacă acele 62 de cazuri lipsă contează sau nu depinde în întregime de motivul pentru care lipsesc.

Cele trei tipuri de date lipsă

Clasificarea lui Rubin din 1976 împarte datele lipsă în trei categorii, după relația dintre absența valorii și valorile în sine. Distincția nu e teoretică. Ea decide care metode de corecție sunt valide și care introduc distorsiuni.

MCAR (lipsă complet întâmplător) înseamnă că probabilitatea ca o valoare să lipsească nu are nicio legătură cu vreo variabilă din baza ta, observată sau nu. Un respondent sare peste o întrebare fiindcă a întors din greșeală două pagini deodată. Un laborant varsă o probă de sânge. Absența e pur accidentală. MCAR e cel mai ușor de tratat, pentru că datele rămase sunt tot un eșantion întâmplător din setul complet. Metodele simple de ștergere merg aici fără să distorsioneze. În practică, MCAR pur e rar.

MAR (lipsă la întâmplare) e mai frecvent și mai derutant decât sugerează numele. „La întâmplare” nu înseamnă că absența e aleatoare. Înseamnă că probabilitatea ca datele să lipsească poate fi explicată de alte variabile observate din baza ta, dar nu de valoarea lipsă în sine. De exemplu, respondenții mai tineri dintr-un sondaj de sănătate sar mai des peste întrebarea despre venit. Vârsta prezice absența, dar, odată ce ții cont de vârstă, valoarea reală a venitului nu mai prezice dacă venitul lipsește. Datele MAR cer metode care folosesc variabilele observate ca să umple golurile, cum e imputarea multiplă.

MNAR (lipsă neîntâmplător) e cazul cel mai greu. Aici absența depinde de valoarea nescrisă în sine. Oamenii cu venituri foarte mari refuză să și le declare. Pacienții cu depresie severă abandonează un studiu de tratament tocmai fiindcă simptomele lor sunt cele mai grave. Niciun volum de date observate nu poate explica în întregime tiparul, iar metodele obișnuite de imputare produc estimări distorsionate. MNAR cere modele specializate, cum sunt modelele de selecție sau cele de tip pattern-mixture, și adesea impune analize de sensibilitate care testează cum influențează concluziile diferite presupuneri despre mecanismul lipsei.

Cum diagnostichezi tiparul datelor lipsă

Înainte să alegi o metodă de tratare, trebuie să știi cât de multe date lipsesc și dacă tiparul pare întâmplător. Pornește de la cifrele brute. În SPSS, mergi la Analyze > Missing Value Analysis. Tabelul de sinteză arată procentul de valori lipsă pentru fiecare variabilă. O variabilă cu 2% lipsă e altă problemă decât una cu 25%.

Apoi uită-te la tipar. SPSS produce o diagramă a tiparului datelor lipsă, care arată ce combinații de variabile tind să lipsească împreună. Dacă aceiași 30 de respondenți au sărit și peste întrebarea de venit, și peste cea de economii, dar au răspuns la tot restul, e un tipar de cercetat. Ar putea însemna că întrebările sensibile financiar declanșează non-răspunsul în bloc.

Testul MCAR al lui Little, disponibil în aceeași casetă din SPSS, verifică dacă tiparul datelor lipsă e compatibil cu MCAR. Ipoteza nulă e că datele sunt MCAR. Un rezultat nesemnificativ (p peste 0,05) înseamnă că nu poți respinge MCAR, deci ștergerea simplă poate fi acceptabilă. Un rezultat semnificativ (să zicem, chi-pătrat = 47,3, df = 22, p = 0,001) îți spune că absența e legată de alte variabile din bază, ceea ce trimite spre MAR sau MNAR. Testul nu poate deosebi MAR de MNAR, fiindcă distincția aceea ține de valorile nescrise în sine.

Am văzut studenți care sar cu totul peste pasul ăsta de diagnostic și trec direct la ștergere sau imputare. E ca și cum ai alege un test statistic fără să-ți verifici condițiile. Printre greșelile frecvente la statistica lucrării intră exact acest gen de scurtătură.

Metode de tratare: de la simplu la sofisticat

Ștergerea listwise

Ștergerea listwise scoate orice caz cu cel puțin o valoare lipsă la oricare variabilă din analiză. E varianta implicită din SPSS pentru regresie, ANOVA și majoritatea procedurilor. Avantajul e simplitatea: toate analizele rulează pe același set complet de cazuri. Dezavantajul e pierderea de date. Într-o regresie cu 12 variabile predictor, chiar și 3% valori lipsă pe variabilă pot elimina 30% sau mai mult din cazuri, dacă valorile lipsă sunt împrăștiate la respondenți diferiți. Ștergerea listwise e sigură doar când datele sunt MCAR, iar proporția totală de cazuri incomplete e mică, de regulă sub 5%. Peste acest prag, arunci prea multă informație și reduci fără rost puterea statistică.

Ștergerea pairwise

Ștergerea pairwise păstrează fiecare caz în orice analiză în care acel caz are date complete pe variabilele testate. Un respondent care a răspuns la itemii 1-15, dar a sărit itemul 16, ar intra în toate corelațiile care nu implică itemul 16. Asta păstrează mai multe date decât ștergerea listwise, dar creează o problemă: analize diferite din același studiu folosesc subseturi diferite de respondenți, cu volume diferite. O matrice de corelații construită cu ștergere pairwise poate folosi N = 230 pentru o pereche și N = 195 pentru alta. În unele cazuri, matricea rezultată nu e pozitiv definită, adică poartă în ea contradicții matematice care fac imposibilă analiza factorială sau modelarea prin ecuații structurale.

Imputarea prin medie

Imputarea prin medie înlocuiește fiecare valoare lipsă cu media variabilei. Păstrează volumul eșantionului și lasă media generală neschimbată. Aici se termină avantajele. Înlocuind variația reală cu o singură constantă, imputarea prin medie reduce abaterea standard a variabilei și îi comprimă distribuția. Corelațiile dintre variabila imputată și toate celelalte slăbesc artificial. Într-o bază de 200 de cazuri cu 20 de valori lipsă la o scală de stres (10% lipsă), imputarea prin medie ar reduce abaterea standard a acelei variabile cu aproximativ 5% și ar împinge spre zero orice corelație care implică stresul. Majoritatea metodologilor consideră azi imputarea prin medie inacceptabilă pentru cercetarea publicată. Evit-o.

Imputarea multiplă

Imputarea multiplă e azi standardul de aur pentru datele MAR. Procedura creează mai multe versiuni complete ale bazei tale (de regulă între 5 și 20), fiecare cu alte valori plauzibile puse în locul celor lipsă. Valorile astea sunt extrase dintr-un model predictiv care folosește datele observate ca să estimeze ce ar fi putut fi valorile lipsă, cu o variație aleatoare adăugată pentru a reflecta incertitudinea. Aplici analiza planificată pe fiecare bază imputată separat, apoi combini rezultatele după regulile lui Rubin, care adună estimările și ajustează erorile standard ca să țină cont de incertitudinea imputării.

În SPSS, mergi la Analyze > Multiple Imputation > Impute Missing Data Values. Pui numărul de imputări la cel puțin 20 pentru sub 10% date lipsă sau la 40 și mai mult pentru rate mai mari. SPSS creează o bază stratificată, cu o variabilă Imputation_ care identifică fiecare copie. După imputare, aplici analiza ca de obicei. SPSS combină automat rezultatele când analizezi baza imputată. Academic Stats Agent te poate ghida și prin configurarea imputării și te ajută să interpretezi rezultatul combinat.

Maximizarea speranței (EM)

Algoritmul EM estimează parametrii (medii, varianțe, covariații) ai datelor complete iterând între doi pași. Pasul E estimează valorile așteptate ale datelor lipsă pornind de la estimările curente ale parametrilor. Pasul M reestimează parametrii folosind atât datele observate, cât și pe cele estimate. Algoritmul se repetă până când estimările converg. EM produce un singur set de estimări, nu mai multe baze, ceea ce îl face mai rapid și mai simplu decât imputarea multiplă. Compromisul e că EM nu ține cont de incertitudinea imputării în erorile standard, așa că intervalele de încredere și valorile p pot ieși ușor prea înguste. Merge bine ca instrument de diagnostic și pentru analiză exploratorie, dar pentru rezultatele finale raportate într-o lucrare sau publicație e de preferat imputarea multiplă.

Tabel de decizie: cum alegi metoda

Ce abordare e potrivită ține de două lucruri: cât de multe date lipsesc și ce tip de absență ai. Tabelul de mai jos rezumă metoda recomandată pentru fiecare combinație.

% lipsă	Tip	Metoda recomandată
< 5%	MCAR	Ștergere listwise (sigură, simplă)
< 5%	MAR	Imputare multiplă sau ștergere listwise
5 – 20%	MCAR	Imputare multiplă (de preferat) sau ștergere pairwise
5 – 20%	MAR	Imputare multiplă (obligatorie)
> 20%	MCAR	Imputare multiplă cu 40+ imputări
> 20%	MAR	Imputare multiplă cu 40+ imputări
Orice %	MNAR	Analiză de sensibilitate + modele de selecție sau pattern-mixture

Imputarea prin medie lipsește din tabel fiindcă nu ar trebui folosită, indiferent de procent sau de tip. Dacă profesorul coordonator o sugerează, trimite-l la Schafer și Graham (2002), care au arătat că imputarea prin medie produce estimări distorsionate ale parametrilor chiar și sub MCAR, cu doar 10% date lipsă.

Cea mai frecventă greșeală: să nu faci nimic

Cea mai proastă abordare a datelor lipsă e s-o ignori. Și e de departe cea mai des întâlnită. Un student strânge 300 de răspunsuri la sondaj, importă fișierul în SPSS și aplică un test t pentru eșantioane independente. SPSS raportează N = 261. Studentul copiază rezultatul în lucrare, scrie t(259) = 2,14, p = 0,033 și merge mai departe. Nicăieri în capitolul de metodologie sau de rezultate nu pomenește că 39 de cazuri au fost excluse, nu explică de ce și nu testează dacă absența a fost întâmplătoare.

E o problemă din două motive. Întâi, dacă datele sunt MAR sau MNAR, rezultatul testului t e distorsionat. Cele 261 de cazuri rămase nu mai sunt reprezentative pentru cele 300 inițiale. Al doilea, comisiile așteaptă tot mai des o secțiune despre datele lipsă în capitolul de metodologie. Raportarea procentului de valori lipsă, aplicarea testului MCAR al lui Little și descrierea felului în care ai tratat golurile iau un paragraf. Lipsa lor sugerează fie neștiință, fie neglijență, și niciuna nu arată bine la susținere.

În fiecare proiect pe care îl ducem la capăt, diagnosticul datelor lipsă e printre primele lucruri pe care le facem. Verificăm tiparul, aplicăm testul lui Little și alegem metoda înainte de orice analiză de fond. Dacă îți scrii singur rezultatele, ai grijă să tratezi datele lipsă înainte să raportezi vreo statistică de test. Ghidul despre greșelile frecvente la statistica lucrării tratează și problema asta, și alte câteva care încurcă des studenții.