Regresiona analiza: šta pokazuje, a šta ne

Regresija je u studentskim radovima najopasnija analiza koju možeš da pokreneš. Ne zato što je teška — program je izračuna za nekoliko sekundi — nego zato što njen rečnik vuče u tvrdnje koje podaci ne nose. Reči „uticaj”, „predviđa”, „objašnjava” i „doprinos” stoje u svakom izlazu programa, pa se odatle prepišu u zaključak, a tamo znače nešto drugo nego u statistici.

Ovaj tekst je o granicama. Kako se regresija pokreće, naučićeš iz uputstva programa; šta sme da stoji ispod nje, ne.

Šta regresija dodaje u odnosu na korelaciju

Korelacija kaže da se dve pojave kreću zajedno. Regresija dodaje tri stvari.

Oblik veze u brojevima. Umesto samo „idu zajedno”, dobijaš koliko se prosečno menja jedna vrednost kad se druga promeni za jedinicu.

Mogućnost da uključiš više varijabli odjednom. Ovo je pravi razlog zbog kog se regresija koristi. Možeš pitati kakva je veza između radnog staža i zadovoljstva poslom pri istim vrednostima ostalih varijabli koje si uključio — recimo pri istoj visini plate i istom sektoru.

Asimetriju. Kod korelacije nema prve i druge varijable; kod regresije ti unapred kažeš šta je ishod, a šta prediktor.

Ta asimetrija je izvor nesporazuma. To što si jednu varijablu nazvao zavisnom ne znači da si dokazao da ona zavisi — znači samo da si tako postavio model. Koja varijabla dobija koju ulogu i po čemu se to odlučuje: varijable u istraživanju.

Kako se čita koeficijent

Za svaki prediktor dobijaš broj koji kaže koliko se prosečno menja ishod kad se taj prediktor poveća za jedinicu, dok ostale varijable u modelu ostaju iste.

Tri detalja koja se redovno preskoče.

Jedinica je važna. Koeficijent uz platu izraženu u dinarima i uz platu izraženu u hiljadama dinara nisu isti broj, iako je veza ista. Zato se u tekstu uvek kaže u čemu je varijabla merena.

Prosečno, ne za svakoga. Koeficijent opisuje prosek u uzorku, ne pravilo koje važi za pojedinca.

Uz ostale varijable iz modela, ne uz sve moguće. Ovaj dodatak menja značenje nalaza. Isti prediktor može imati znatnu vrednost u modelu sa dve varijable i praktično nikakvu u modelu sa pet. Nijedan od ta dva broja nije „pravi” — svaki važi za svoj model, i zato se model uvek navodi uz nalaz.

Nestandardizovani i standardizovani koeficijenti odgovaraju na dva različita pitanja: prvi na pitanje koliko se ishod menja u svojim jedinicama, drugi omogućava grubo poređenje prediktora međusobno. Ako ih pominješ, reci koji je koji.

R kvadrat i šta on nije

Pokazatelj koji kaže koliki je deo razlika u ishodu opisan modelom. U radu se najčešće prevede kao „model objašnjava toliko procenata”.

Taj prevod je izvor tri greške.

Objašnjava nije razume. Reč je o statističkom slaganju, ne o razumevanju pojave. Model može opisati veliki deo razlika a da nijedna varijabla u njemu nije uzrok.

Nizak R kvadrat nije neuspeh rada. U društvenim naukama je uobičajeno da ponašanje ljudi zavisi od mnogo toga što u tvom upitniku nije ni pitano. Nizak pokazatelj je nalaz, i piše se kao nalaz, uz rečenicu o tome šta modelom nije obuhvaćeno.

Visok R kvadrat ume da bude znak problema. Ako je među prediktorima nešto što je zapravo isti pojam merio drugim rečima, model će savršeno pristajati i neće značiti ništa.

Dodavanje varijabli u model uvek podiže taj pokazatelj, i to je razlog zbog kog se varijable ne dodaju „da bi izašlo bolje” — bira se ono što teorijski ima veze sa ishodom i to se obrazloži pre nego što se model pokrene.

Ovaj pokazatelj je jedan od načina da se izrazi koliko je nalaz krupan, a ne samo da li je prešao prag. Koji još postoje i kako se biraju: veličina efekta.

Četiri tvrdnje koje regresija ne nosi

Da prediktor izaziva ishod. Ovo je glavna. Regresija je i dalje analiza povezanosti; iz nje se ne izvodi uzrok. Tri razloga zbog kojih veza nije uzrok — treća varijabla, smer i slučajno poklapanje — važe ovde jednako: korelacija ne znači uzročnost.

Da bi promena prediktora dovela do promene ishoda. Model opisuje razlike među ljudima koje si merio, a ne šta bi se desilo da se nekome nešto promeni. „Povećanjem plate za deset procenata zadovoljstvo bi poraslo” je tvrdnja koju tvoji podaci ne mogu da potkrepe.

Da se model odnosi na populaciju van uzorka. Ako si merio zaposlene u tri objekta jedne firme, model važi za njih. Prenošenje na granu, sektor ili državu je korak koji podaci ne pokrivaju.

Da se predviđanje odnosi na vrednosti koje nisi merio. Ako su ti ispitanici imali od jedne do petnaest godina staža, model ne govori ništa o onome ko ima trideset.

Šta se pre analize proverava

Regresija ima pretpostavke i program ih neće proveriti umesto tebe. Za studentski rad su praktično važne četiri stvari.

Da veza uopšte liči na pravu liniju. Grafik rasipanja pre analize pokazuje to za pola minuta i ume da spreči besmislen model.

Da među prediktorima nema dve varijable koje mere praktično istu stvar. Kad se to desi, koeficijenti postaju nestabilni i ume da ispadne da nijedan prediktor nije značajan iako model kao celina jeste.

Da ostaci nisu sistematski iskrivljeni. Zašto se oblik raspodele uopšte gleda pre nego što se izabere postupak, i šta se radi kad odstupa: normalna raspodela.

Da nekoliko izuzetno odstupajućih slučajeva ne vuče celu liniju. Jedan ekstreman ispitanik ume da promeni nalaz. Ako takav slučaj postoji, kaže se da postoji i objasni šta je sa njim urađeno; tiho brisanje podataka koji smetaju nije postupak, nego nameštanje.

Kako se nalaz piše

Slabo: Regresiona analiza je pokazala da plata utiče na zadovoljstvo poslom, pri čemu model objašnjava 34% zadovoljstva.

Tri problema: uzrok koji nije dokazan, izostavljen model u kom nalaz važi i „34% zadovoljstva” umesto razlika u zadovoljstvu.

Jako: U model su uključene visina plate, dužina staža i sektor, a kao ishod prosečan skor zadovoljstva poslom. Model opisuje oko trećinu razlika u skoru među ispitanicima, što znači da najveći deo razlika potiče od činilaca koji upitnikom nisu obuhvaćeni. Uz konstantne vrednosti ostalih varijabli, viša plata povezana je sa višim skorom zadovoljstva. Nacrt istraživanja je presečan, pa se iz ovog nalaza ne može zaključiti da povišica dovodi do većeg zadovoljstva.

Poslednja rečenica nije skromnost — ona je razlika između nalaza koji stoji i nalaza koji komisija obara jednim pitanjem.

Tu istu granicu drži i zaključak rada. Zaključak sme da ponovi šta je nađeno i da predloži šta bi sledeće istraživanje moglo da uradi; ne sme da dopiše uzrok koji analiza nije pokazala: zaključak diplomskog rada.

Najčešće greške

• Reč „uticaj” prepisana iz izlaza programa u zaključak kao tvrdnja o uzroku
• Koeficijent naveden bez modela u kom je dobijen
• R kvadrat predstavljen kao procenat pojave, a ne kao deo razlika
• Varijable dodavane u model dok pokazatelj ne poraste
• Nalaz prenet na populaciju van uzorka
• Predviđanje van opsega izmerenih vrednosti
• Prediktori koji mere istu stvar u istom modelu
• Nijedna pretpostavka nije pomenuta u opisu postupka

Provera pre nego što nalaz uđe u rad

1. Zašto je baš ova varijabla ishod, a ostale prediktori?
2. Da li su svi prediktori u modelu birani teorijski, pre analize?
3. Piše li uz svaki koeficijent u kojoj je jedinici varijabla merena?
4. Da li sam igde napisao „utiče”, „dovodi do” ili „izaziva”?
5. Da li je nacrt presečan, i piše li to izričito uz nalaz?
6. Na koga se model odnosi, i da li tekst ostaje u tim granicama?
7. Šta model ne obuhvata, i stoji li to među ograničenjima?

Poslednja stavka ima svoje mesto u radu i ne ostavlja se komisiji da je otvori: ograničenja istraživanja.