Veličina efekta — koliko je razlika zaista velika
Zašto statistički značajna razlika ne znači i važna razlika, kako se veličina efekta prikazuje u radu i zašto se orijentacione granice ne čitaju kao propis.
Kratak odgovor
Veličina efekta je pokazatelj koliko je nađena razlika ili veza velika, nezavisno od toga da li je prešla prag značajnosti. Značajnost odgovara na pitanje da li se razlika može pripisati slučaju, a veličina efekta na pitanje koliko ta razlika uopšte vredi. Najjednostavniji prikaz veličine je sirova razlika u jedinicama u kojima si merio — koliko bodova, godina ili dinara. Standardizovane mere postoje da bi se razlike iz različitih merenja mogle porediti, a granice tipa mali, srednji i veliki su orijentacione vrednosti koje zavise od oblasti i od toga šta se meri.
Postoji rečenica koja se pojavi u svakom drugom radu i koja tamo ne znači ono što piše: „utvrđena je statistički značajna razlika, što ukazuje na izražen uticaj”. Prvi deo je nalaz testa. Drugi deo je tvrdnja o veličini, a test o veličini ništa nije rekao.
Ova dva pitanja su odvojena i odgovaraju im odvojeni pokazatelji. Da li se razlika može pripisati slučaju — to rešava statistička značajnost. Koliko je razlika velika — to rešava veličina efekta.
Zašto značajnost ne meri jačinu
Test poredi razliku sa tim koliko je rasipanja u podacima i koliko ljudi si ispitao. Što je uzorak veći, to manja razlika prelazi prag.
Zamisli dve situacije u istom radu.
Prva. Na uzorku od šest stotina ljudi prosečno zadovoljstvo je 3,71 u jednoj grupi i 3,84 u drugoj. Test kaže da je razlika značajna. U jedinicama u kojima si merio, to je trinaest stotinki na petostepenoj skali — razlika koju niko u toj organizaciji ne bi opisao kao podelu.
Druga. Na uzorku od trideset ljudi prosek je 3,2 naspram 4,1. Test ne prelazi prag. Razlika je skoro cela jedinica skale, ali grupe su male, pa podaci nemaju snagu da je potvrde.
Prvi rezultat je značajan a mali; drugi je velik a nepotvrđen. Rad koji izveštava samo p-vrednost ne razlikuje ta dva slučaja, a razlika između njih je sve.
Tri načina da se veličina prikaže
Sirova razlika u jedinicama merenja. Najrazumljiviji pokazatelj i onaj koji se u studentskom radu najčešće previdi. Koliko bodova, godina, dinara ili procentnih poena razlike ima između grupa. Prednost je što ga čitalac odmah tumači, jer zna šta jedinica znači u tvom istraživanju.
Standardizovana mera. Razlika izražena u odnosu na rasipanje podataka, pa broj više ne zavisi od toga u čemu si merio. Postoji zato da bi se razlika iz tvog upitnika mogla uporediti sa razlikom iz tuđeg, merenog drugom skalom.
Udeo objašnjenih razlika. Kod veza i modela se veličina izražava kao deo ukupnog rasipanja ishoda koji se može povezati sa onim što si uključio. Kako se taj pokazatelj čita i šta ne znači, opisano je u tekstu o regresionoj analizi.
Za diplomski rad je pravilo praktično: uvek navedi sirovu razliku, a standardizovanu meru dodaj ako je program daje i ako mentor traži.
| Pitanje na koje odgovaraš | Šta navodiš |
|---|---|
| Koliko se grupe razlikuju | Proseke obe grupe i razliku među njima, u jedinicama merenja |
| Koliko su odgovori raštrkani | Meru rasipanja uz svaki prosek |
| Da li je razlika uporediva sa tuđim nalazom | Standardizovanu meru, uz izvor po kom je tumačiš |
| Koliko ishoda model pokriva | Udeo objašnjenih razlika, uz ogradu da to nije uzrok |
Prve dve stavke iz tabele pripadaju opisu uzorka i računaju se pre bilo kakvog testa; poslednje dve nastaju tek iz same analize i bez nje ih nema odakle uzeti.
Granice se ne čitaju kao propis
U literaturi postoje orijentacione vrednosti uz koje se standardizovane mere opisuju kao mali, srednji ili veliki efekat. Dve stvari treba znati pre nego što ih upotrebiš.
Prvo, to su orijentacione vrednosti, ne propis. Nastale su kao pomoć u tumačenju i nikada nisu bile zamišljene kao granica koja odlučuje.
Drugo, šta je veliko zavisi od oblasti i od toga šta se meri. Efekat koji je u istraživanju stavova skroman, u istraživanju ishoda lečenja bi bio krupan, i obrnuto.
Zato se u radu ne piše „efekat je srednji” kao da je to izmereno svojstvo. Piše se koliki je pokazatelj, po kom izvoru se tumači i šta ta veličina znači u tvom kontekstu. Ako izvor za granice navodiš, on ide u literaturu kao i svaki drugi.
Kako se veličina uklapa u rečenicu
Redosled koji radi: opis, test, veličina, granica tvrdnje.
Slabo: Utvrđena je statistički značajna razlika (p < 0,05), što pokazuje da su zaposleni u prodaji znatno zadovoljniji.
Jako: Prosečan skor zadovoljstva u prodaji iznosi 3,9, a u logistici 3,5, uz standardnu devijaciju oko 0,8 u obe grupe. Razlika je statistički značajna uz usvojen prag, a po veličini iznosi 0,4 boda na petostepenoj skali, što je umerena razlika u okviru ovog merenja.
Druga verzija ne koristi nijednu reč koju podaci ne pokrivaju. Ne kaže „znatno”, ne kaže „uticaj”, i navodi broj koji čitalac može sam da odmeri. Kako se ostatak odeljka slaže: kako se rezultat statističkog testa piše u tekstu.
Veličina koju očekuješ određuje uzorak
Ovo je razlog zbog kog veličina efekta nije samo stvar pisanja rezultata. Što je razlika koju očekuješ manja, to ti treba više ljudi da bi se uopšte videla.
Praktično: ako u istraživanju očekuješ krupnu razliku — recimo između grupe koja je prošla obuku i grupe koja nije — i manji uzorak ume da bude dovoljan. Ako očekuješ sitnu razliku u stavovima između dva slična sektora, uzorak od pedesetak ljudi je skoro sigurno premali da je potvrdi, ma koliko pažljivo bio prikupljen.
Zbog toga se o veličini razmišlja dok se planira prikupljanje, a ne kad podaci stignu. Potreban broj ispitanika se zato procenjuje prema razlici koju očekuješ, a ne prema tome koliko je ljudi imao rad koji si negde video.
Gde veličina efekta stvarno menja rad
Na tri mesta, i sva tri se vide na odbrani.
U diskusiji. Poređenje sa tuđim istraživanjima ima smisla samo ako se poredi veličina, a ne to da li je nešto bilo značajno. Dva rada mogu imati isti ishod testa i potpuno različite efekte.
U zaključku. Preporuka koja se izvodi iz sitne razlike je preterivanje. Ako je razlika desetinka boda, zaključak ne sme da traži promenu politike organizacije.
U preporukama za buduća istraživanja. Nalaz koji je velik a nepotvrđen je najbolji mogući povod da u preporukama napišeš šta bi veći uzorak verovatno pokazao i kako bi se to istraživanje postavilo.
Šta se ne radi
- Veličina efekta se ne računa tek kad rezultat nije značajan, da bi se nešto spaslo.
- Ne bira se pokazatelj koji zvuči najbolje, pa se ostali prećute.
- Ne prevodi se standardizovana mera u proizvoljan pridev bez oslonca.
- Ne poredi se veličina iz dva različita instrumenta kao da je isto merenje.
Najčešće greške
- Značajnost prikazana kao jačina razlike ili veze
- Sirova razlika nigde ne stoji, pa čitalac ne zna koliko je to u bodovima
- Prosek bez mere rasipanja, pa se veličina ne može odmeriti
- Granice mali–srednji–veliki navedene kao pravilo, bez izvora i bez ograde
- Nepotvrđen a velik efekat prećutan umesto da uđe u diskusiju
- Reč „uticaj” upotrebljena za razliku između dve grupe
- Zaključak i preporuka izvedeni iz razlike od nekoliko stotinki
Provera pre nego što nalaz uđe u rad
- Kolika je razlika u jedinicama u kojima sam merio?
- Stoji li uz svaki prosek i mera rasipanja?
- Ako navodim standardizovanu meru, odakle mi tumačenje njene veličine?
- Da li sam istu logiku primenio na sve nalaze, i na potvrđene i na nepotvrđene?
- Da li zaključak traži više nego što veličina razlike opravdava?
- Da li bi čitalac iz moje rečenice mogao sam da proceni koliko je to mnogo?
- Kako bih odgovorio na pitanje „da li je to praktično važno”?
Kako se nalaz o vezi, a ne o razlici, piše bez preterivanja: korelacija ne znači uzročnost.