Normalna raspodela: šta znači i zašto se proverava
Šta znači da je raspodela normalna, zašto se oblik podataka gleda pre izbora testa, kako se provera radi i šta se piše kada raspodela odstupa.
Kratak odgovor
Normalna raspodela je oblik u kom se vrednosti gomilaju oko sredine i podjednako proređuju na obe strane. Proverava se zato što veći deo uobičajenih testova pretpostavlja upravo takav oblik; ako podaci od njega osetno odstupaju, rezultat testa se ne tumači na isti način. Provera se radi pre izbora testa, najčešće pogledom na histogram i na mere asimetrije, a kada raspodela odstupa, koriste se neparametarski postupci ili se nalaz piše opreznije. Odstupanje samo po sebi nije greška u radu.
„Da li su ti podaci normalno raspodeljeni” je pitanje koje na odbrani zvuči kao formalnost, a zapravo proverava da li si izabrao postupak pre nego što si video podatke ili posle. Odgovor „jesu” bez ijednog pokazatelja je isto što i odgovor „nisam gledao”.
Ovaj tekst objašnjava šta se tim pitanjem traži, gde se pretpostavka zaista odnosi i šta se radi kada podaci ne stoje kako treba.
Šta znači da je raspodela normalna
Raspodela je prosto opis toga kako su se vrednosti razmestile: koliko ispitanika ima nizak skor, koliko srednji, koliko visok. Nacrtaj histogram i dobio si je.
Normalna raspodela je jedan poseban oblik: vrednosti se gomilaju oko sredine, a što se više udaljavaš od sredine u bilo kom smeru, to ih je manje, i to podjednako na obe strane. Zvonasta kriva koju svi poznaju iz udžbenika.
Dve stvari koje treba razdvojiti odmah.
Nijedan stvarni skup podataka nije savršeno normalan. Normalna raspodela je matematički model, a ne stanje koje se u anketi dostiže. Pitanje nikad nije „jeste li normalni”, nego „koliko odstupate”.
Normalno ne znači ispravno. Podaci koji odstupaju nisu pokvareni podaci. Plata, radni staž i broj dece skoro nikad nisu simetrično raspoređeni, i to je osobina pojave, ne greška merenja.
Zašto se oblik uopšte gleda
Zato što veći deo testova koje ćeš pokrenuti računa verovatnoću pod pretpostavkom da podaci imaju taj oblik. Program će ti izračunati rezultat u svakom slučaju; on ne proverava da li pretpostavka stoji. Ako ne stoji, broj koji dobiješ i dalje izgleda kao rezultat, ali ono što on znači više nije isto.
Vredi znati i zašto ta pretpostavka uopšte postoji. Testovi koji porede proseke oslanjaju se na to koliko se prosek uzorka rasipa od uzorka do uzorka, a taj račun je izveden za podatke određenog oblika. Kad podaci izgledaju bitno drugačije — recimo kad se gomilaju uz jedan kraj skale — račun i dalje daje broj, ali on više ne opisuje verovatnoću koju misliš da opisuje.
Otuda redosled koji se u radu brani: prvo se pogleda kakvi su podaci, pa se onda bira test. Obrnut redosled — pokrenuti test pa tražiti opravdanje — vidi se na odbrani po tome što student ne ume da kaže zašto je baš taj test.
Koji test dolazi u obzir kad je pretpostavka ispunjena, a koji kad nije, deo je iste odluke: t-test ili ANOVA.
Na šta se pretpostavka zaista odnosi
Ovo je mesto gde se u studentskim radovima najviše greši, jer se pretpostavka primenjuje na pogrešnu stvar.
Ne odnosi se na ceo uzorak odjednom kad poredi grupe. Ako poredi zadovoljstvo poslom kod dva sektora, oblik se gleda unutar svake grupe, ne na svima zajedno. Skup koji spaja dve grupe sa različitim prosecima ume da izgleda čudno iako je svaka grupa za sebe uredna.
Ne odnosi se na kategorije. Pol, sektor i odgovor da/ne nemaju raspodelu u ovom smislu. Kod njih se gleda koliko je ljudi u kojoj kategoriji, a test koji se na njih primenjuje je drugi: hi-kvadrat test.
Kod regresije se ne odnosi na prediktore nego na ono što ostane neobjašnjeno modelom. Prediktor sme da bude kakav god, i to je česta nepotrebna panika.
Sa većim uzorkom pretpostavka postaje manje osetljiva. Uobičajeni testovi podnose osetno odstupanje kada je grupa velika, a mnogo teže kada je grupa mala. Praktična posledica: najviše pažnje traže baš mali uzorci, gde je proveru najteže uraditi.
Kako se provera radi
Tri načina, po redosledu korisnosti za studentski rad.
Histogram. Nacrtaj ga za svaku varijablu koju ćeš porediti i pogledaj. Da li se vrednosti gomilaju na jednoj strani? Ima li dva vrha? Ima li nekoliko vrednosti daleko od ostalih? Ovo je najvrednija provera i traje minut.
Asimetrija i spljoštenost. Dva broja koja opisuju koliko je oblik nagnut na jednu stranu i koliko je šiljat. Uz nulu su znak simetrije. Granice ispod kojih se odstupanje smatra prihvatljivim su konvencija i razlikuju se od izvora do izvora, pa ako ih navodiš, navedi i odakle su.
Testovi normalnosti. Postoje i daju jedan broj, ali imaju neprijatnu osobinu: na velikim uzorcima proglase značajnim i sitno odstupanje, a na malim ne otkriju ni krupno. Zato se koriste uz histogram, a ne umesto njega.
Uz ovo ide i pogled na osnovne pokazatelje koje ionako računaš. Kad se aritmetička sredina i medijana osetno razlikuju, to je već znak da je raspodela nagnuta: deskriptivna statistika.
Šta kad raspodela odstupa
Četiri postupka, svi legitimni, po redu kojim se razmatraju.
Proveri da nije tehnička greška. Vrednost 555 u koloni za godine starosti, prekucana decimala, neprekodirana obrnuta tvrdnja. Jedan pogrešno unet podatak ume sam da iskrivi celu sliku, a popravka traje sekund.
Odluči šta sa odstupajućim slučajevima. Ako je vrednost stvarna, ostaje. Ako je nemoguća, izbacuje se, ali po kriterijumu koji je napisan i isti za sve. Kako se ta odluka obrazlaže: podaci koji ne valjaju.
Pređi na neparametarski postupak. Za većinu uobičajenih testova postoji zamena koja ne traži pretpostavku o obliku. Ona ne poredi proseke nego rangove, pa se i nalaz piše drugačije — ne „prosek je viši”, nego „vrednosti su sistematski više”. Koji postupak dolazi u obzir za koju situaciju i kako se izbor obrazlaže: neparametarski testovi.
Ostavi kako jeste i suzi tvrdnju. Kod velikog uzorka i umerenog odstupanja ovo je uobičajen postupak, pod uslovom da se odstupanje pomene i da se nalaz ne prodaje kao precizniji nego što jeste.
Ono što se ne radi: izbacivanje ispitanika dok raspodela ne postane lepa. To više nije priprema podataka nego njihovo prilagođavanje rezultatu koji želiš.
Kako se to piše u metodologiji
Dve do četiri rečenice, uz opis postupka obrade, pre nego što se pređe na rezultate.
Slabo: Podaci su normalno raspodeljeni, pa su korišćeni parametarski testovi.
Ne kaže se šta je provereno ni čime.
Jako: Pre izbora postupka provereni su oblik raspodele skorova po grupama, na osnovu histograma i mera asimetrije. Raspodela skora zadovoljstva poslom u obe grupe je približno simetrična, pa je za poređenje korišćen t-test za nezavisne uzorke. Raspodela dužine staža je izrazito nagnuta ka nižim vrednostima, pa je za tu varijablu korišćen neparametarski postupak, a u tekstu se umesto proseka navodi medijana.
Druga verzija radi tri stvari: kaže šta je gledano, kaže šta je nađeno i povezuje nalaz sa izborom postupka. Gde tačno taj opis stoji u poglavlju o metodologiji: kako se piše metodološki deo.
Ako je uzorak mali i provera nije mogla da bude uverljiva, to se ne prećutkuje nego upisuje među ograničenja, u jednu rečenicu: ograničenja istraživanja.
Najčešće greške
- Tvrdnja o normalnosti bez ijednog pokazatelja
- Provera rađena na celom uzorku umesto po grupama koje se porede
- Provera rađena nad kategorijama, gde pojam nema smisla
- Test izabran pre nego što su podaci pogledani
- Ispitanici izbacivani dok raspodela ne postane povoljna
- Rezultat testa normalnosti shvaćen kao presuda, bez pogleda na histogram
- Odstupanje shvaćeno kao greška u radu, pa prećutano
- Prosek naveden kod izrazito nagnute raspodele, gde medijana bolje opisuje podatke
Provera pre nego što izabereš test
- Koje varijable uopšte ulaze u poređenje i koje su od njih brojčane?
- Jesam li nacrtao histogram za svaku od njih?
- Ako poredi grupe — jesam li gledao oblik unutar svake grupe?
- Razlikuju li se sredina i medijana toliko da to nešto znači?
- Ima li vrednosti koje su nemoguće ili očigledno pogrešno unete?
- Ako raspodela odstupa — koji postupak koristim umesto uobičajenog?
- Stoji li u metodologiji rečenica o tome šta je provereno i čime?