Post hoc poređenja posle ANOVA
Zašto značajna ANOVA ne kaže koje se grupe razlikuju, šta post hoc postupak radi sa pragom značajnosti i kako se takav nalaz piše u rezultatima rada.
Pokrenuo si poređenje tri grupe, izašla je značajna razlika, i rečenica se sama piše: „utvrđena je statistički značajna razlika između studenata prve, druge i treće godine”. Onda na odbrani stigne pitanje koje ruši ceo pasus — koje dve godine se razlikuju?
Odgovor u tom trenutku ne postoji, jer ga test koji si pokrenuo nikad nije ni dao. Ovaj tekst je o koraku koji dolazi posle. Kako se bira između poređenja dve grupe i poređenja više njih, pokriva t-test ili ANOVA; ovde se kreće od trenutka kada je to poređenje već ispalo značajno.
Šta značajna ANOVA zapravo kaže
Poređenje više grupa odjednom postavlja jedno jedino pitanje: da li su svi proseci isti? Značajan rezultat znači da nisu — da negde među njima postoji razlika koja se teško objašnjava slučajnošću.
To je sve. Test ne kaže gde je razlika, koliko ih ima, ni koja je grupa iznad koje. Sa tri grupe postoje tri para koja se mogu porediti; značajan zajednički rezultat bi mogao doći od jednog para, od dva, ili od sva tri.
Otuda i ime koraka koji sledi. Post hoc znači „posle toga” — poređenja koja se rade pošto je zajednički test pokazao da ima šta da se traži.
Zašto se ne ponavlja obično poređenje parova
Prva ideja koja svakom padne na pamet je da se jednostavno pokrene poređenje dve grupe za svaki par posebno. Tri para, tri testa, gotovo.
To se ne radi, i razlog je čist račun rizika.
Svaki test nosi dozvoljen rizik da prijavi razliku koje nema. Kad usvojiš prag, ti si tačno taj rizik prihvatio — za jedan test. Kad pokreneš tri testa na istim podacima, prilika da se bar jednom javi lažna uzbuna nije više ona koju si prihvatio, nego osetno veća. Sa četiri grupe parova je šest, sa pet grupa deset, i rizik raste brže nego broj grupa.
Šta se tačno dešava sa tim rizikom i zašto se on ne može samo tako smanjiti, objašnjava greške prve i druge vrste.
Posledica za rad je jednostavna: pasus sa tri zasebna poređenja parova, bez ikakve ispravke, jedna je od primedbi koje se najlakše uoče u rezultatima.
Šta post hoc postupak radi
Postupci iz ove porodice rade istu stvar sa različitih strana: prave poređenja među parovima, ali tako da ukupan rizik od lažne uzbune ostane na onom nivou koji si usvojio za ceo skup poređenja.
Najlakše se to vidi na najjednostavnijem od njih. Jedan postupak prosto podeli usvojeni prag brojem poređenja koja praviš — sa tri poređenja svako pojedinačno mora da bude tri puta ubedljivije nego što bi inače bilo. Strogo, jednostavno i lako za objašnjenje na odbrani, ali po ceni: teže se prepoznaje razlika koja zaista postoji.
Ostali postupci isti cilj postižu finije, pa su nešto osetljiviji, a razlikuju se po tome šta pretpostavljaju o podacima — pre svega po tome da li traže da grupe budu slično raštrkane i slične veličine.
Vredi primetiti šta se ovde zapravo dešava. Ne menja se podatak i ne menja se poređenje; menja se merilo po kom se poređenje proglašava ubedljivim. Zato ista razlika u prosecima može biti značajna kada se posmatra sama, a neznačajna kada se posmatra kao jedno od tri poređenja. To nije nedoslednost nego cena koja se plaća zato što si postavio tri pitanja umesto jednog.
Koji postupak se bira
| Situacija | Šta se obično koristi |
|---|---|
| Sva parna poređenja, grupe slične veličine i sličnog rasipanja | Tjukijev postupak (Tukey) |
| Mali broj poređenja, traži se jednostavno obrazloženje | Bonferonijeva ispravka |
| Rasipanje se osetno razlikuje po grupama | Gejms–Hauvelov postupak (Games–Howell) |
| Poređenja složenija od para prema paru | Šefeov postupak (Scheffé) |
Tabela je orijentir, ne propis. Preporuke se razlikuju po oblastima i po udžbenicima, i nijedan od ovih postupaka nije jedini ispravan izbor za svoju situaciju. Ono što se u radu traži nije „pravi” postupak nego naveden izbor sa razlogom — jedna rečenica koja kaže zašto baš taj.
Mnogo važnija od izbora imena je doslednost. Postupak se bira jednom, pre nego što se rezultati vide, i primenjuje se na sva poređenja u radu. Menjanje postupka od varijable do varijable, tako da svaki put ispadne povoljnije, vidi se odmah.
Kako se rezultat čita i piše
Ispis postupka daje tabelu parova. Za svaki par stoji razlika proseka i podatak o tome da li je ta razlika prešla prag pod ispravljenim uslovima.
U rad ne ide ta tabela u sirovom obliku. Ide rečenica koja spaja zajednički nalaz i poređenja.
Slabo: ANOVA je pokazala statistički značajnu razliku između tri grupe.
Jako: Prosečan skor motivacije razlikovao se među tri godine studija. Naknadna poređenja pokazala su da razlika potiče od prve godine, čiji je prosek (3,2) niži nego na drugoj (3,8) i trećoj (3,9); druga i treća godina se međusobno ne razlikuju.
Druga verzija kaže šta se sa čim razlikuje i u kom smeru, i sadrži brojeve na kojima tvrdnja stoji. Kako se takva rečenica sastavlja i šta od nje ide u tabelu, a šta u tekst, pokriva izveštavanje statistike.
Dve stvari koje se često previde. Prva: parovi koji nisu prešli prag pišu se isto tako, u istoj rečenici — nalaz da se dve grupe ne razlikuju je deo rezultata, a ne rupa u njemu. Druga: značajnost i ovde ne meri jačinu, pa uz razliku između svaka dva proseka ide i podatak o tome kolika je ta razlika zaista, o čemu piše veličina efekta.
Kada post hoc ne treba
Tri situacije u kojima se ovaj korak preskače, i sve tri se brane lako.
Zajednički test nije značajan. Tada nema šta da se traži. Pokretanje poređenja parova posle neznačajnog zajedničkog testa, pa izveštavanje onog para koji je „ipak nešto pokazao”, je upravo ono protiv čega ceo postupak postoji.
Grupe su samo dve. Jedan par, jedno poređenje, nikakva ispravka nije potrebna. Ako se ipak nađeš sa dve grupe i zajedničkim testom, ishod je isti kao kod poređenja dva proseka i naknadni korak nema šta da doda.
Poređenja su bila planirana unapred. Ako si u hipotezama napisao da porediš kontrolnu grupu sa svakom od dve eksperimentalne, i ništa više, to nisu naknadna poređenja nego unapred određena. Takva poređenja se izvode direktno, broj im je mali i poznat pre podataka, i u radu se opisuju kao planirana.
Razlika između ta dva slučaja je zapravo razlika između hipoteze i pretraživanja. Ako si znao šta porediš pre nego što si video podatke, u boljem si položaju. Ako si počeo da tražiš tek kad je zajednički test proradio, ispravka je cena koju plaćaš za to traženje.
Najčešće greške
- Zajednički nalaz napisan kao da kaže koje se grupe razlikuju
- Tri zasebna poređenja parova bez ikakve ispravke praga
- Poređenja pokrenuta iako zajednički test nije bio značajan
- Postupak menjan od varijable do varijable, uvek u povoljnijem smeru
- Izvešteni samo parovi koji su prešli prag, ostali prećutani
- Ime postupka navedeno bez razloga zbog kog je izabran
- Smer razlike izostavljen — piše da se grupe razlikuju, ne piše koja je viša
- Nijedan podatak o veličini razlike uz nalaz