Pretpostavke testa i šta kad ne stoje

Test se ne bira samo po tome šta porediš. Bira se i po tome kako podaci izgledaju. Svaki uobičajen test polazi od nekoliko pretpostavki o podacima, i dok one stoje, rezultat znači ono što misliš da znači. Kad ne stoje, p-vrednost i dalje izlazi — samo više ne odgovara na pitanje koje si postavio.

Ovaj tekst je korak koji ide pre izbora testa. Tri provere, šta svaka od njih štiti i šta se radi kad neka padne.

Zašto provere uopšte postoje

Test poredi ono što si izmerio sa onim što bi se očekivalo da u populaciji razlike nema. Da bi „ono što bi se očekivalo” uopšte bilo izračunljivo, mora se pretpostaviti nešto o tome kako se podaci ponašaju.

Kada pretpostavka ne stoji, ne dešava se greška u računu. Dešava se nešto tiše: poređenje se pravi sa pogrešnim merilom. Rezultat izgleda potpuno uredno, ispis programa ima sve brojeve na svom mestu, a zaključak može biti promašen u oba smera — nalaz koji ne postoji izgleda značajno, ili nalaz koji postoji promakne.

Druga nezgodna strana je što se nijedna od ovih pretpostavki ne odnosi na tvoju hipotezu nego na podatke. Test ne zna šta istražuješ; on samo računa. Provera je jedino mesto na kom ti odlučuješ da li je taj račun uopšte primenljiv na ono što si prikupio.

Zato se provere rade pre testa i zapisuju dok se rade. Nijedna od njih ne traje dugo, a rekonstrukcija posle mesec dana traje mnogo duže od samog posla.

Prva provera: oblik raspodele

Prva pretpostavka tiče se toga kako su vrednosti raspoređene — da li se gomilaju oko sredine i simetrično opadaju na obe strane, ili su nagnute na jednu stranu.

Šta tačno znači i kako se gleda, u posebnom tekstu: normalna raspodela. Ovde su bitne dve stvari koje se najčešće promaše.

Proverava se po grupama, ne na celom uzorku. Ako porediš dve grupe, oblik se gleda u svakoj posebno. Zbirna raspodela sa dva vrha ume da izgleda čudno upravo zato što spaja dve grupe koje se razlikuju, a svaka od njih zasebno može biti sasvim uredna.

Formalni test odstupanja nije jedini sud. Postupci koji proveravaju odstupanje od simetričnog oblika osetljivi su na veličinu uzorka: na velikom uzorku prijavljuju i beznačajna odstupanja, na malom ne prijavljuju ni krupna. Zato se uz njih uvek gleda i sam oblik, na histogramu, i gledaju se ekstremne vrednosti.

Šta ova provera štiti: tačnost p-vrednosti kod testova koji porede proseke.

Druga provera: rasipanje po grupama

Druga pretpostavka kaže da grupe koje porediš nisu samo različite po visini rezultata nego i približno slično raštrkane oko svoje sredine.

Zašto je to bitno, vidi se iz jednostavnog primera. Dve grupe imaju isti prosek od 3,5. U prvoj se svi odgovori kreću između 3,4 i 3,6; u drugoj polovina ispitanika ima 1, a polovina 5. Isti prosek, potpuno različita pojava. Test koji poredi proseke računa i sa tim rasipanjem, pa ako se ono drastično razlikuje, merilo poređenja postaje nepouzdano.

U praksi se rasipanje proverava i brojem i pogledom: uporede se mere rasipanja po grupama, a postoji i zaseban test koji proverava da li je razlika u rasipanju veća nego što se očekuje. Većina programa ga daje uz sam test poređenja, pa ga ne moraš tražiti posebno.

Ako uslov ne stoji, često ne moraš menjati ceo pristup: kod poređenja dve grupe postoji varijanta testa koja ne traži jednako rasipanje, i ona se onda navodi kao izabrana. Koja je to varijanta i kada se koristi, opisuje t-test ili ANOVA.

Šta ova provera štiti: poštenje poređenja između grupa različite veličine i različite raštrkanosti.

Treća provera: nezavisnost opažanja

Treća pretpostavka je najmanje tehnička i najčešće prekršena, a skoro se nikad ne proverava programom — proverava se iz opisa postupka.

Ona kaže da odgovor jednog ispitanika ne zavisi od odgovora drugog. Tri načina na koja se ruši u studentskim istraživanjima:

Isti čovek dvaput. Anketa deljena linkom bez ikakve kontrole, pa jedan ispitanik popuni obrazac dva ili tri puta. U tabeli to izgleda kao tri osobe.

Ista lica pre i posle. Ako si merio istu grupu u dva navrata, to nisu dva nezavisna uzorka nego dva merenja istih ljudi, i traži se drugačiji postupak.

Prirodne grupe. Učenici iz istog odeljenja, zaposleni iz iste smene, pacijenti kod istog lekara — ljudi u takvim celinama liče jedni na druge više nego što bi slučajno birani ljudi ličili. Njihovi odgovori nisu potpuno nezavisni.

Poslednja tačka se u diplomskom radu retko rešava tehnički, ali se piše u ograničenjima, i to je sasvim prihvatljivo. Ono što nije prihvatljivo je prećutati da su svi ispitanici iz jedne ustanove, a zaključak napisati kao da važi šire. Odakle uzorak dolazi i šta to znači za nalaz, u tekstu uzorak u istraživanju.

Šta ova provera štiti: pravo da se uopšte govori o uzorku kao o uzorku.

Šta kad neka provera padne

Redosled poteza je uvek isti, od najmanje do najveće izmene.

1. Proveri da li je u pitanju greška u podacima. Ekstremna vrednost ume da bude pogrešan unos, a ne redak slučaj. Vraćanje na izvorni upitnik rešava više problema nego bilo koji test.
2. Vidi da li postoji varijanta istog testa koja tu pretpostavku ne traži. Kod poređenja dve grupe obično postoji.
3. Pređi na postupak koji radi sa rangovima, ako oblik raspodele ozbiljno odstupa ili su grupe vrlo male.
4. Ako ništa od toga ne prolazi, obrada se pojednostavljuje: ostaju opis, učestalosti i poređenje kategorija, a tvrdnja se sužava.

Ono što se ne radi ni u jednom koraku: podaci se ne izbacuju zato što kvare raspodelu. Izbacivanje ispitanika je odluka koja se donosi po unapred zapisanom pravilu i uvek se navodi u radu, sa brojem i razlogom.

Kako se to piše u metodologiji

Provere ne dobijaju svoje poglavlje. Dobijaju dve do tri rečenice pred prikaz rezultata.

Pre poređenja grupa proveren je oblik raspodele skora u svakoj grupi posebno i uporedno rasipanje između grupa. Raspodela u obe grupe bez izraženog odstupanja, rasipanje uporedivo, pa je primenjen test koji poredi proseke dve nezavisne grupe.

Kad provera padne, rečenica se piše isto tako mirno, sa posledicom:

Raspodela skora u manjoj grupi izrazito je nagnuta nadesno, pa je razlika proverena postupkom koji radi sa rangovima.

Isto važi i za nalaz koji nije značajan: ako su provere urađene i zapisane, nepotvrđena hipoteza se brani podacima, a ne izgovorom. Kako se takav ishod formuliše, pokriva statistička značajnost.

Ovo nije formalnost. Bez te rečenice svaki izbor testa u rezultatima izgleda kao stvar navike, a pitanje „zašto baš taj test” ostaje otvoreno do odbrane. Sa njom, odgovor je već u radu.

Kod modela sa više prediktora provera ima još nekoliko stavki i one se rade drugačije, ali logika ostaje ista: prvo se gleda da li podaci ispunjavaju uslove, pa se tek onda tumači ono što model izbaci.

Najčešće greške

• Provera urađena tek pošto rezultat nije ispao kako se očekivalo
• Oblik raspodele gledan na celom uzorku umesto po grupama
• Formalni test odstupanja shvaćen kao jedini sud, bez pogleda na oblik
• Nezavisnost opažanja nigde ne pomenuta, iako su svi ispitanici iz jedne ustanove
• Ekstremne vrednosti izbačene bez pravila i bez navođenja u radu
• Provere urađene, pa nigde zapisane — u radu se vidi samo rezultat testa
• Ista pretpostavka proveravana za sve varijable odjednom, pa se zaključak prenosi paušalno