Pitanja o uzorku i obradi podataka na odbrani

Na odbrani empirijskog rada pitanja retko idu u teoriju. Teorijski deo komisija po pravilu pročita i prihvati. Ono što se proverava jeste da li znaš šta si radio sa podacima — kako si došao do ispitanika, koliko ih je, šta smeš da tvrdiš na osnovu njih i zašto si podatke obradio baš tako.

Razlog je prost: metodologija je jedini deo rada koji ne može da se prepiše ni pozajmi. Iz načina na koji objašnjavaš izbor uzorka vidi se da li si istraživanje sproveo i razumeo.

Dobra vest je da se pitanja ponavljaju. Pet ih je, i skoro sva se pojave u nekom obliku. Sva imaju isti oblik odgovora, u tri koraka:

1. Činjenica — šta si tačno uradio, sa brojem.
2. Razlog — zašto tako, u okolnostima u kojima si radio.
3. Ograda — šta to znači za domet nalaza.

Treći korak je onaj koji razlikuje siguran odgovor od odbrambenog. Priznato ograničenje se brani; prikriveno se ne brani, jer komisija ionako zna gde su granice tvog uzorka. Primeri koji slede odnose se na zamišljeno istraživanje o zadovoljstvu poslom u malim preduzećima; brojevi su ilustracija.

1. Kako ste došli do ispitanika?

Pitanje o postupku uzorkovanja. Komisija zapravo pita da li znaš kako se tvoj uzorak zove i šta iz toga sledi.

Većina studentskih istraživanja koristi prigodan uzorak — ispitanici su oni do kojih se moglo doći. To nije sramota i ne treba ga kriti iza reči „slučajan”. Nazvati prigodan uzorak slučajnim je stvarna greška, jer tvrdi svojstvo koje uzorak nema, i komisija to prepoznaje odmah.

Uzorak je prigodan. Do preduzeća sam došao preko poslovnih kontakata i preko udruženja u kom su učlanjena, a upitnik je zaposlenima prosleđen preko rukovodstva. Slučajan izbor iz celokupne populacije zaposlenih u malim preduzećima nije bio izvodljiv, jer ne postoji spisak iz kog bi se biralo. Zbog toga nalaze tumačim kao nalaze o ispitanom uzorku, a ne kao procenu stanja u celoj delatnosti.

Tri stvari u odgovoru: ime postupka, razlog, domet. Kako se vrste uzorka razlikuju i šta koja dozvoljava: uzorak u istraživanju.

Ako si uzorak birao namerno, po kriterijumu — što je uobičajeno kod kvalitativnih istraživanja — odgovor je isti oblik, ali se dodaje koji je kriterijum bio: delatnost, veličina preduzeća, godine iskustva.

2. Zašto baš toliko ispitanika?

Ovo pitanje zvuči kao zamerka, a najčešće nije. Komisija proverava da li je broj rezultat odluke ili slučajnosti.

Ono što se ne kaže: „toliko sam uspeo da skupim”. Čak i kada je to istina, rečenica ne nosi nijedan razlog.

Planirao sam oko stotinu ispitanika, jer je to bio obim koji je omogućavao poređenje tri grupe po dužini staža sa smislenim brojem u svakoj. Prikupljanje je trajalo dva meseca i završeno je sa 87 upitnika, od kojih su svi bili potpuni. Grupa sa najdužim stažom je najmanja, sa 18 ispitanika, i to ograničenje navodim i u radu, pri tumačenju razlike među grupama.

Odgovor pokazuje plan, ishod i posledicu. Poslednja rečenica preduhitruje sledeće pitanje.

Kod kvalitativnih istraživanja pitanje glasi drugačije — „zašto ste stali na devet sagovornika?” — a odgovor se oslanja na trenutak kada novi intervjui prestaju da donose nove teme. Taj trenutak treba da bude opisan u metodologiji, a ne izmišljen na odbrani. Kako se broj ispitanika uopšte planira: koliko ispitanika je dovoljno.

3. Koliko se ovo može preneti na celu populaciju?

Najvažnije pitanje u grupi, i jedino koje ima samo jedan tačan odgovor: u meri u kojoj uzorak to dozvoljava, što kod prigodnog uzorka nije daleko.

Ovde postoji zamka. Student koji brani rad oseća potrebu da uzorak odbrani kao bolji nego što jeste, pa počne da tvrdi reprezentativnost koju nema. Time se otvara rasprava koja se ne može dobiti.

Uzorak nije reprezentativan za sve zaposlene u malim preduzećima i nalaze ne prenosim na tu populaciju. Ono što rad pokazuje jeste da u ispitanom uzorku postoji veza između učestalosti nematerijalnih podsticaja i zadovoljstva poslom, i da je ta veza u istom smeru kao u istraživanjima na koja se rad poziva. To je osnov za pretpostavku, ne za tvrdnju o celoj delatnosti, i zato je u zaključku formulisano kao predlog za proveru na širem uzorku.

Tri poteza u jednom odgovoru: priznata granica, tačno određeno šta rad ipak pokazuje, i veza sa preporukom. Posle ovoga se rasprava o reprezentativnosti obično zatvara, jer nema oko čega da se vodi.

Dodatni oprez u jeziku: između povezanosti i uzroka se ne prelazi ni u govoru. Ako kažeš „podsticaji povećavaju zadovoljstvo”, tvrdiš uzročnost koju tvoj nacrt ne dokazuje — a to je sledeće pitanje koje dolazi.

4. Zašto ste izabrali taj postupak obrade?

Pitanje o obradi podataka. Komisija ne očekuje predavanje iz statistike; očekuje da znaš zašto je taj postupak odgovarao tvojim podacima.

Odgovor se gradi od vrste podataka i vrste pitanja, tim redom.

Pitanje je bilo da li se prosečno zadovoljstvo razlikuje između tri grupe po dužini staža. Zadovoljstvo je izraženo prosečnim skorom na skali, dakle brojčanom vrednošću, a grupe su tri i međusobno nezavisne, pa sam koristio postupak za poređenje prosečnih vrednosti više nezavisnih grupa. Za proveru povezanosti dve brojčane varijable korišćena je korelaciona analiza.

Ako ne znaš ime postupka napamet, to je manji problem nego da ne znaš zašto si ga izabrao. Obrnuto ne važi.

Dva potpitanja koja često dolaze uz ovo:

• „Šta ste radili sa obrnuto formulisanim stavkama?” Odgovor: prekodirane su pre računanja skora. Ako nisu, to treba da znaš pre odbrane, a ne da saznaš na njoj.
• „Da li ste proveravali pouzdanost skale?” Ako jesi, reci pokazatelj i vrednost. Ako nisi, reci to otvoreno i navedi da bi to bio korak u ponovljenom istraživanju. Izmišljen odgovor je najgori mogući izbor, jer se proverava iz rada.

Kako se odgovara kad primedba na metodologiju bude oštrija od pitanja: kako se odgovara na kritiku metodologije.

5. Šta je sa onima koji nisu odgovorili?

Pitanje o odzivu i o izuzetim upitnicima. Retko se postavlja prvo, ali gotovo uvek dođe kod onlajn istraživanja.

Ono što treba da znaš u brojevima: koliko je upitnika poslato, koliko je vraćeno, koliko je izuzeto i po kom kriterijumu.

Upitnik je prosleđen u dvanaest preduzeća, sa oko sto četrdeset zaposlenih ukupno. Vraćeno je 92 upitnika, od kojih je pet izuzeto jer nisu bili popunjeni do kraja, pa je u obradu ušlo 87. Kriterijum za izuzimanje bio je postavljen pre prikupljanja i naveden je u metodologiji. Moguće je da su upitnik češće popunjavali zaposleni koji su zadovoljniji poslom, što bi prosečne ocene pomerilo naviše, i to navodim među ograničenjima.

Poslednja rečenica je ključna. Priznanje mogućeg pristrasnog odziva pokazuje da razumeš kako podaci nastaju — i uklanja potrebu da to komisija izgovori umesto tebe.

Tri rečenice koje se ne izgovaraju

• „Uzorak je bio slučajan.” — ako nije bio biran slučajnim postupkom. Ovo je najčešća i najskuplja greška u ovoj grupi pitanja.
• „Ispitanici nisu ozbiljno shvatili upitnik.” — teška tvrdnja bez osnova; ako postoji osnov, on je kriterijum za izuzimanje i trebalo je da bude primenjen.
• „To mi je mentor rekao.” — čak i kad je tačno, odgovornost za izbor u odbrani nosi autor rada.

Umesto njih, rečenica koja uvek radi: „To je ograničenje ovog istraživanja i navodim ga u radu.” Pod uslovom da ga zaista navodiš.

Kako se odgovori pripremaju

Dan-dva pre odbrane, napiši odgovore na svih pet pitanja — rukom, po tri rečenice, ne više. Naglas pročitaj svaki. Ako ti neki zvuči kao izvinjenje, prepiši ga tako da ima razlog u sredini.

Uz to pripremi brojeve koje moraš da znaš napamet: ukupan broj ispitanika, veličine grupa, broj izuzetih upitnika, broj stavki u instrumentu, period prikupljanja. Ti brojevi se pitaju usput i traženje po radu ostavlja loš utisak.

Najkorisniji potez je ipak preventivan: skriveni slajd sa strukturom uzorka na kraju prezentacije. Kad pitanje dođe, otvoriš tabelu i odgovaraš uz nju. Kako se taj slajd priprema i šta još ide iza kraja prezentacije: metodologija na slajdu.

Šta ako stvarno ne znaš

Dešava se, i ima odgovor koji ne šteti: priznaš, kažeš dokle znaš, i ponudiš smer.

Na tu proveru nisam mislio pri obradi i ne bih želeo da nagađam. Podaci koje imam bi je omogućili, i to je korak koji bih uradio u nastavku rada.

Ovo je bolje od nagađanja iz dva razloga. Pogrešan odgovor izrečen sigurno vodi u niz potpitanja, a nesigurnost oko podataka koji su tvoji ostavlja gori utisak od jednog priznatog propusta.

Kako izgleda ceo tok odbrane i šta prethodi delu sa pitanjima: odbrana diplomskog rada. A kako se do tog trenutka izlažu sami nalazi: kako se rezultati prikazuju na odbrani.