Greške prve i druge vrste
Dve vrste promašaja pri proveri hipoteze, zašto se obe ne mogu smanjiti odjednom, šta je snaga testa i kako se sve to napiše u metodologiji rada.
Kad proveravaš hipotezu, ti donosiš odluku na osnovu nepotpunog podatka. Ispitao si deo ljudi, a tvrdiš nešto o celini. Takva odluka može biti pogrešna na dva načina, i ta dva načina nisu simetrična.
Razumevanje te dve greške menja način na koji se pišu i metodologija i ograničenja, jer objašnjava zašto ni potvrđena ni nepotvrđena hipoteza nisu konačan odgovor.
Četiri ishoda, dva promašaja
Ukrsti ono što si odlučio sa onim kako stvari stvarno stoje i dobiješ četiri polja.
| U populaciji razlika postoji | U populaciji razlike nema | |
|---|---|---|
| Odlučio si da razlika postoji | Pogodak | Greška prve vrste |
| Odlučio si da razlike nema | Greška druge vrste | Pogodak |
Greška prve vrste je lažna uzbuna. Tvrdiš da si nešto našao, a tog nečega nema. U radu to izgleda kao potvrđena hipoteza koja se ni na jednom drugom uzorku ne bi ponovila.
Greška druge vrste je propušten nalaz. Razlika u populaciji postoji, ali je tvoji podaci nisu pokazali, pa si zaključio da je nema. U radu to izgleda kao nepotvrđena hipoteza koja je zapravo bila tačna.
Ključna stvar: ti nikad ne znaš u kojoj si koloni. Da znaš, ne bi ni radio istraživanje. Zna se samo koliko si rizik od svake greške dozvolio.
Prag koji si izabrao je dozvoljen rizik
Nivo značajnosti koji navedeš u metodologiji je upravo dogovoreni rizik od greške prve vrste. Ako usvojiš prag od 0,05, pristao si da otprilike jedan od dvadeset testova pokrenutih u svetu bez ikakve razlike ipak pređe granicu.
Zato prag nije formalnost. On je rečenica o tome koliko lažnih uzbuna dopuštaš, a koliko lažnih uzbuna je prihvatljivo zavisi od oblasti i od toga šta se iz nalaza izvodi. Zbog toga se u nekim oblastima traži znatno stroža granica nego što je uobičajena u društvenim naukama. Šta se pragom zapravo tvrdi i kako se navodi: statistička značajnost i p-vrednost.
Zašto se obe ne mogu smanjiti odjednom
Ovo je jezgro teme. Pri istim podacima, smanjivanje jednog rizika povećava drugi.
Ako postaviš strožu granicu da bi rede tvrdio nešto čega nema, propustićeš više onoga što postoji. Ako granicu olabaviš da bi uhvatio i slabije efekte, češće ćeš proglasiti nalaz tamo gde ga nema.
Zamisli kontrolu na ulazu koja treba da zaustavi sporne slučajeve. Postavi je strogo i zaustavljaćeš i ljude koji nisu sporni. Postavi je blago i propustićeš deo onih koje je trebalo zaustaviti. Isti uređaj, ista situacija — samo pomeren prag.
Postoji jedan izlaz koji nije kompromis, i on ne leži u pragu nego u podacima. Više ljudi i preciznije merenje smanjuju oba rizika istovremeno, jer daju jasniju sliku. Zato je odluka o uzorku metodološki važnija od odluke o pragu: koliko ispitanika je dovoljno.
Snaga testa
Snaga je sposobnost tvog istraživanja da primeti razliku koja stvarno postoji — dakle, suprotnost greške druge vrste.
Zavisi od tri stvari:
- Koliko ljudi imaš. Najveći i jedini deo koji ti zaista kontrolišeš.
- Kolika je razlika koju tražiš. Krupnu razliku primeti i manji uzorak; sitnu ne primećuje ni pristojan uzorak. Kako se veličina razlike uopšte meri: veličina efekta.
- Koliko je merenje precizno. Instrument koji rasipa odgovore troši snagu na šum, pa provera pouzdanosti nije formalnost nego uslov da test uopšte ima šta da pokaže.
Praktična posledica za studentski rad: istraživanje sa četrdeset ispitanika i pet hipoteza o sitnim razlikama je unapred slabo. Nije ga pokvarila obrada, nego plan.
Kako se snaga uzima u obzir pre prikupljanja
Postoji postupak kojim se pre istraživanja procenjuje koliko ljudi treba da bi razlika određene veličine mogla da se primeti. Radi se u statističkim programima i traži tri unosa: koliku razliku očekuješ, koji prag usvajaš i koliku snagu želiš.
Za diplomski rad taj postupak nije uvek obavezan, ali je razmišljanje iza njega korisno i bez računa. Sastoji se od jednog pitanja koje postaviš sebi dok planiraš: ako razlika koju tražim postoji i mala je, da li bi je ovaj uzorak uopšte pokazao? Ako je iskren odgovor ne, onda ili prikupljaš više podataka ili unapred sužavaš tvrdnju.
Ono što se ne radi: snaga se ne računa posle istraživanja da bi se objasnilo zašto hipoteza nije potvrđena. Tada je to više izgovor nego analiza.
Šta je skuplje u tvom radu
Ne postoji odgovor koji važi svuda, i to je poenta. Cena greške zavisi od toga šta se iz nalaza radi.
Ako iz rada sledi preporuka da organizacija nešto promeni, lažna uzbuna je skupa — neko bi menjao praksu bez razloga. Ako rad ispituje da li neka pojava zaslužuje ozbiljnije istraživanje, propušten nalaz je skuplji, jer se tema zatvara prerano.
U diplomskom radu ovo se najčešće pojavi u jednoj rečenici u diskusiji, i ta rečenica dosta govori o tome koliko autor razume šta je uradio.
Gde se to vidi u tekstu rada
Na tri mesta, svako po jednom rečenicom.
U metodologiji — naveden prag i rečenica o tome šta on znači kao dozvoljen rizik.
U rezultatima — nepotvrđena hipoteza napisana kao „podaci nisu dali dovoljno osnova”, a ne kao „razlike nema”.
U ograničenjima — veličina uzorka povezana sa mogućnošću da je slabiji efekat ostao neprimećen.
Slabo: Hipoteza H3 nije potvrđena, što znači da povezanosti između radnog staža i zadovoljstva nema.
Jako: Hipoteza H3 nije potvrđena. Povezanost u uzorku postoji ali je slaba, a veličina uzorka i raspored po grupama ostavljaju mogućnost da slabija povezanost u populaciji ovim istraživanjem ne bi ni bila primećena.
Druga verzija ne spašava hipotezu, nego tačno opisuje domet podataka. Takav nalaz se u poglavlje uklapa bez izvinjavanja i bez naknadnog prepravljanja hipoteze prema onome što je izašlo.
Kada se rizik od lažne uzbune umnožava
Svaki dodatni test koji pokreneš dodaje sopstvenu šansu za grešku prve vrste. Deset ukrštanja na istim podacima nije deset nezavisnih nalaza, nego deset prilika da nešto slučajno pređe prag.
Odatle i pravilo da se kod poređenja više grupa ne ponavlja test za svaki par, nego se koristi postupak koji tu ispravku sadrži: kada se koristi t-test, a kada ANOVA. Kako se ta poređenja izvode pošto je zajednički test ispao značajan, opisuju post hoc poređenja.
Isto važi i za upitnik sa trideset pitanja. Ako ih sva ukrstiš sa polom i izvestiš ono što je „ispalo”, nalaz je proizvod broja pokušaja.
Najčešće greške
- „Nije značajno” napisano kao „razlike nema”
- Prag pomeren posle gledanja rezultata, čime se rizik od lažne uzbune ćutke povećava
- Mnogo testova na istim podacima, a izveštava se samo ono što je prošlo
- Mali uzorak, pa nepotvrđena hipoteza predstavljena kao zaključak o populaciji
- Ograničenje o uzorku koje ne pominje mogućnost propuštenog nalaza
- Rečenica „dokazano je” uz bilo koji ishod testa
- Hipoteze smišljene posle obrade, prema onome što se u podacima videlo
Provera pre nego što napišeš zaključak
- Koliko sam ukupno testova pokrenuo na ovim podacima?
- Da li su sve hipoteze postavljene pre obrade?
- Kako sam formulisao svaki nepotvrđen nalaz?
- Da li je veličina uzorka povezana sa ograničenjima?
- Koja je greška u mojoj temi skuplja i da li to negde piše?
- Da li kod tri i više grupa koristim postupak sa ispravkom?
- Da li bih pred komisijom mogao da objasnim šta moj prag znači?
Sve ovo počinje od hipoteze postavljene tako da se uopšte može proveriti, i postavljene pre nego što su podaci viđeni.