Statistička značajnost i p-vrednost
Šta p-vrednost zaista govori, šta se u radovima pogrešno tvrdi da govori, zašto prag značajnosti nije zakon i kako se nalaz napiše bez preterivanja.
Kratak odgovor
Statistička značajnost znači da bi razlika ili veza koju si našao bila malo verovatna da u populaciji ničega nema. P-vrednost je upravo ta verovatnoća: koliko bi često podatak ovakav kao tvoj nastao pod pretpostavkom da razlike nema. Ona ne kaže koliko je razlika velika, koliko je nalaz važan, ni kolika je verovatnoća da je tvoja hipoteza tačna. Prag ispod kog se rezultat proglašava značajnim je usvojena konvencija koja se razlikuje po oblastima, a ne prirodni zakon, i u radu se navodi kao izbor koji si napravio.
Skoro svaki empirijski rad u nekom trenutku dođe do rečenice „utvrđena je statistički značajna razlika”. Ta rečenica je tačna u vrlo uskom smislu, a čita se mnogo šire nego što jeste — i tu nastaje najveći deo primedbi koje komisija upućuje na tumačenje rezultata.
Ovaj tekst ne objašnjava kako se p-vrednost računa. Računa je program. Objašnjava šta ona tvrdi, a šta se u radovima najčešće tvrdi umesto toga.
Odakle p-vrednost uopšte dolazi
Svaki test kreće od jedne pretpostavke koja se zove nulta: u populaciji nema razlike, nema veze, nema efekta. Test onda pita nešto vrlo ograničeno.
Da ta pretpostavka važi, koliko bi često uzorak veličine kao tvoj dao razliku ovoliku ili veću — samo od slučajnog izbora ljudi?
Odgovor na to pitanje je p-vrednost. Mali broj znači da bi podatak kakav imaš bio neobičan u svetu u kom razlike nema, pa se pretpostavka o nepostojanju razlike odbacuje. Veliki broj znači da se podatak lepo uklapa i u svet bez razlike, pa nema osnova da se pretpostavka odbaci.
Obrati pažnju na smer: računa se verovatnoća podatka pod pretpostavkom, a ne verovatnoća pretpostavke pod podatkom. Te dve stvari nisu iste i njihovo mešanje je izvor gotovo svake greške u nastavku.
Četiri rečenice koje p-vrednost ne podržava
„P je 0,02, dakle verovatnoća da je moja hipoteza tačna je 98%.” Ne. P-vrednost ne govori ništa o verovatnoći tvoje hipoteze. Ona je verovatnoća podatka pod nultom pretpostavkom, i taj smer se ne obrće.
„Razlika je statistički značajna, dakle velika je i važna.” Ne. Značajnost zavisi i od veličine uzorka, pa sitna razlika na velikom uzorku lako ispadne značajna, a krupna razlika na malom uzorku ne mora. Koliko je razlika zaista velika, meri se posebno: veličina efekta.
„Nije značajno, dakle razlike nema.” Ne. To znači da tvoji podaci nisu dali dovoljno osnova da se pretpostavka o nepostojanju razlike odbaci. Uzorak je možda bio premali da se razlika uopšte vidi. Nedostatak dokaza nije dokaz nepostojanja, i ta razlika u formulaciji se na odbrani traži.
„P je 0,049, dakle skoro isto kao 0,051.” Ovde si zapravo u pravu, ali rad to obično piše naopako: prvi se slavi kao potvrda, drugi opisuje kao neuspeh. Brojevi su gotovo isti, a zaključak ispada suprotan zato što ih prag razdvaja. Prag postoji da bi se donela odluka, a ne da bi se od jedne stotinke pravila granica između otkrića i ničega.
Prag je dogovor, ne zakon
U društvenim naukama se kao granica najčešće koristi 0,05. To je usvojena konvencija, ne prirodna konstanta, i vrednost se razlikuje po oblastima i po vrsti istraživanja — negde se traži stroža granica, negde se rezultat tumači bez oštre granice.
Praktična posledica za tvoj rad je jednostavna: prag se navodi kao izbor, u metodologiji, pre nego što se rezultati prikažu. Rečenica „kao nivo značajnosti usvojen je 0,05” traje pola reda i uklanja pitanje.
Ono što se ne radi: prag se ne pomera posle toga što si video rezultat. Ako je u metodologiji 0,05, onda se p od 0,07 ne opisuje kao „granično potvrđeno”. Takav potez se primeti, jer se u istom radu drugde poziva na prvobitni prag.
Šta se radi sa nalazom koji nije značajan
Nalaz koji ne prelazi prag je i dalje nalaz i pripada radu. Sakriti ga ili ga prećutati je ozbiljnija greška od toga što hipoteza nije potvrđena.
Tri stvari koje se u tom slučaju pišu:
- Šta je dobijeno — razlika u prosecima ili smer veze, bez tvrdnje da je utvrđena.
- Zašto se ne tvrdi — podaci nisu dali dovoljno osnova uz usvojen prag.
- Šta je moglo doprineti — veličina uzorka, raspored po grupama, osobine instrumenta.
Nepotvrđena hipoteza se u zaključku piše bez izvinjavanja i bez naknadnog prepravljanja, a u poglavlju o ograničenjima se ista stvar poveže sa veličinom uzorka i sa načinom na koji je uzorak biran.
Značajnost i veličina uzorka
Ovo je veza koju mnogi rad ne pomene, a koja objašnjava dobar deo čudnih rezultata.
| Uzorak | Sitna razlika | Krupna razlika |
|---|---|---|
| Mali | Najčešće neće biti značajna | Ume da ne bude značajna |
| Velik | Ume da bude značajna | Skoro sigurno značajna |
Iz tabele se vidi zašto se značajnost ne sme čitati kao mera jačine. Na uzorku od nekoliko stotina ljudi razlika u proseku od 3,71 naspram 3,84 može preći prag, a u stvarnosti ne znači ništa što bi iko primetio. Zato se uz svaki test navodi i podatak o tome kolika je razlika u jedinicama u kojima se merilo.
Zašto se računa i koliko si testova pokrenuo
Prag od 0,05 znači da u svetu bez ikakve razlike otprilike jedan od dvadeset testova ipak prelazi granicu. Dok pokrećeš jedan test, to je prihvatljiv rizik. Kad kroz podatke pustiš dvadeset ukrštanja i izvestiš ono jedno koje je „ispalo”, nemaš nalaz nego posledicu broja pokušaja.
To je najčešći skriveni problem u studentskim radovima sa velikim upitnikom: sve se ukršta sa svim, pa se u rezultate prepiše ono što je prešlo prag. Odbrana takvog nalaza ne postoji, jer se ne može reći koliko je testova prethodilo.
Zaštita je jednostavna i tiče se plana, ne obrade. Testovi se izvode iz hipoteza koje su postavljene unapred, a ne iz onoga što se u tabeli slučajno primeti. Koja se tačno greška tu pravi i po koju cenu: greške prve i druge vrste.
Kako se nalaz piše
Pravilo je da rečenica nosi tri stvari: šta je nađeno, na osnovu čega, i dokle ide.
Slabo: Hipoteza je potvrđena jer je p < 0,05, što dokazuje da pol utiče na zadovoljstvo poslom.
Ova rečenica greši tri puta: proglašava dokaz, uvodi uticaj tamo gde postoji samo razlika, i ne kaže kolika je razlika.
Jako: Prosečan skor zadovoljstva poslom kod žena iznosio je 3,9, a kod muškaraca 3,5. Razlika je statistički značajna uz usvojen prag od 0,05, ali je po veličini skromna, pa se nalaz tumači kao blaga tendencija u ovom uzorku, a ne kao izražena podela.
Kako se takva rečenica sastavlja broj po broj i koji podatak gde stoji, u tekstu ili u tabeli: kako se rezultat statističkog testa piše u tekstu.
Još jedna sitnica koja se često previdi: reč „značajan” u radu ima dva života. U rezultatima je tehnički termin, u uvodu i zaključku obična reč koja znači „važan”. Ako u zaključku napišeš „značajan doprinos”, čitalac ne zna u kom smislu. Rešenje je da se u tumačenju koristi druga reč — bitan, izražen, praktično važan.
Najčešće greške
- P-vrednost čitana kao verovatnoća da je hipoteza tačna
- Značajnost predstavljena kao veličina ili važnost razlike
- „Nije značajno” napisano kao „razlike nema”
- Prag pomeren posle gledanja rezultata
- Prag koji se nigde ne navodi u metodologiji
- Reč „dokazano” umesto „utvrđeno je” ili „nalazi upućuju”
- Značajan rezultat proširen na populaciju sa prigodnog uzorka
- Samo p navedeno, bez proseka i mere rasipanja uz njega
Provera pre nego što nalaz uđe u rad
- Da li sam prag naveo u metodologiji, pre rezultata?
- Da li uz svaki test stoji i podatak o veličini razlike?
- Da li ijedna moja rečenica p-vrednost čita kao verovatnoću hipoteze?
- Kako sam napisao nalaze koji nisu prešli prag?
- Da li reč „značajan” negde znači „važan”, pa zbunjuje?
- Da li nalaz tvrdi uticaj tamo gde je izmerena samo razlika?
- Kojom rečenicom branim izbor praga ako me komisija pita?
Koju tvrdnju uopšte proveravaš i kako je formulisana pre obrade: hipoteze u diplomskom radu.