Šta kada prikupljeni podaci ne valjaju

Kad se ispostavi da prikupljeni podaci nisu onakvi kakvi su planirani, prva odluka nije šta odbaciti nego šta se sa ovim podacima uopšte sme tvrditi. Skoro nijedan problem ove vrste ne poništava rad; skoro svaki sužava zaključke. Rad se spašava tako što se zaključci suze i to napiše, a ne tako što se podaci doteruju dok ne izgledaju bolje.

Druga stvar koja se rešava odmah: razdvoji malo podataka od loših podataka. To su različiti problemi sa različitim izlazima. Uzorak od šezdeset ispitanika umesto planiranih sto dvadeset je mali uzorak, ali podaci u njemu mogu biti savršeno ispravni — takav rad se piše kao opisno istraživanje sa jasno navedenim ograničenjem. Uzorak od sto dvadeset u kom trećina ispitanika ne ispunjava kriterijum je nešto sasvim drugo i tu se stvarno mora intervenisati.

Treća stvar, i najvažnija: pravilo po kom se odgovori odbacuju mora biti postavljeno pre nego što pogledaš rezultate. Ako se pravilo smisli posle, ono neizbežno počne da bira ono što ide u prilog hipotezi, čak i kad to niko ne namerava. To je jedina greška u ovom poslu koja se ne može popraviti pisanjem.

Istraživanje na kom se sve ovo vidi

Zamišljeno istraživanje o navikama učenja studenata završne godine. Elektronski upitnik je poslat preko studentske službe na trista adresa; za dve nedelje je stiglo devedeset šest odgovora. Svi brojevi su ilustracija tog zamišljenog istraživanja, ne podaci iz stvarnog rada.

U tih devedeset šest odgovora nađeno je sledeće: jedanaest upitnika popunjenih do polovine, sedam ispitanika koji su naveli da nisu na završnoj godini, i četiri u kojima je na svim stavkama zaokružen isti odgovor. Svaka od te tri stvari je drugačiji problem.

Mali odziv

Nizak odziv ne kvari rad. Prećutan odziv ga kvari.

Šta se radi, redom: najpre se produžava prikupljanje i šalje jedan podsetnik, pa se po potrebi otvara drugi kanal — druga grupa, druga ustanova, štampani obrazac umesto elektronskog. Ako ni to ne pomogne, uzorak se prihvata kakav jeste, a u radu se menjaju dve stvari.

Prva je opis uzorka: prigodan uzorak se zove prigodnim, a ne se prikazuje kao da je reprezentativan. Druga su tvrdnje: sa devedeset šest odgovora na trista poziva se opisuje ono što je dobijeno na tom uzorku, a ne zaključuje o svim studentima završne godine. Razlika je u glagolu — „u ovom uzorku je uočeno” umesto „studenti završne godine uglavnom”.

Odziv se piše u brojevima: koliko poziva, koliko odgovora, koliko odbačenih. Kod elektronskog obrasca se odziv često ne zna, jer ne znaš koliko je ljudi link videlo, i to se onda kaže otvoreno. Kako ceo taj deo postupka izgleda napisan: opis postupka istraživanja.

Koliko je ispitanika uopšte dovoljno za diplomski rad i odakle taj broj dolazi: koliko ispitanika.

Nekompletni upitnici

Jedanaest upitnika popunjenih do polovine ne rešava se osećajem. Rešava se pravilom koje se napiše i primeni na sve isto. Pojedinačna prazna polja u upitnicima koji inače valjaju su druga stvar i imaju svoja pravila: nedostajući odgovori u obradi.

Uobičajena rešenja, od blažeg ka strožem:

Koje god rešenje izabereš, u radu mora da stoji koje je i koliko je upitnika po tom pravilu ispalo. Broj obrađenih upitnika mora se slagati na svakom mestu u radu — u metodologiji, u tabelama, u prilozima. Nesaglasnost tih brojeva je jedna od prvih stvari koje komisija primeti.

Ako se odgovori sabiraju u ukupan skor, a nedostaje jedna ili dve stavke, ne izmišljaj vrednost. Ili se ispitanik isključuje iz tog skora, ili se skor računa na broju odgovorenih stavki — i tada se napiše da je tako računat.

Ispitanici van kriterijuma

Sedam ispitanika koji nisu na završnoj godini nije problem nego jedini slučaj u kom je isključivanje obavezno. Kriterijum za uključenje u uzorak je deo definicije istraživanja; ko mu ne odgovara, ne pripada uzorku, bez obzira na to koliko je uredno popunio upitnik.

Odatle sledi i pouka za sledeći put: kriterijum se proverava u samom upitniku, prvim pitanjem, a ne pretpostavlja na osnovu kanala kojim je upitnik poslat. Pretpostavka da su svi sa liste studentske službe na završnoj godini je upravo ono što proizvede sedam neupotrebljivih odgovora.

U radu se to piše kratko i bez izvinjavanja:

Od 96 prikupljenih odgovora, 7 je isključeno jer ispitanici prema uvodnom pitanju nisu studenti završne godine, čime nisu ispunili kriterijum za uključivanje u uzorak.

Kako se kriterijumi uključivanja postavljaju unapred i zašto se pišu pre prikupljanja: populacija i uzorak.

Odgovori dati bez pažnje

Četiri upitnika u kojima je na svim stavkama zaokružen isti odgovor su treća vrsta problema i najosetljivija, jer se ovde lako pređe granica.

Znaci koji se u praksi koriste kao osnov za isključenje:

• Isti odgovor na svim stavkama, posebno kad su neke stavke obrnuto formulisane pa isti odgovor na njima protivreči sam sebi.
• Vreme popunjavanja koje je očigledno prekratko, ako obrazac beleži vreme.
• Kontradiktorni odgovori na pitanjima koja se logički isključuju.
• Besmislen odgovor na otvoreno pitanje, kad otvorenih pitanja ima.

Granica koja se ne prelazi: odgovor se ne isključuje zato što ne odgovara očekivanju. Ispitanik koji na svemu daje niske ocene nije nepažljiv, nego nezadovoljan. Razlika između nepažljivog i neočekivanog odgovora je u doslednosti unutar samog upitnika, ne u smeru koji ide protiv tvoje hipoteze.

Kako se obrnuto formulisane stavke postavljaju i čemu služe: greške u anketama.

Pravilo se piše pre, i piše se jednom

Pre nego što otvoriš podatke, napiši u dokument metodologije jedan pasus:

Iz obrade će biti isključeni upitnici u kojima je odgovoreno na manje od polovine pitanja, upitnici ispitanika koji prema uvodnom pitanju ne pripadaju ciljnoj grupi i upitnici u kojima je na svim stavkama, uključujući obrnuto formulisane, dat isti odgovor.

Taj pasus je posle toga i tvoja zaštita na odbrani. Na pitanje zašto je isključeno dvadeset dva upitnika, odgovor je pravilo napisano pre obrade, a ne procena doneta usput. Zašto se metodologija uopšte piše tako da se svaka odluka može opravdati: kako se piše metodološki deo rada.

Kad je već kasno: tri izlaza

Ako su podaci prikupljeni, pravilo nije postavljeno unapred, a rok se bliži, postoje tri poštena izlaza i nijedan ne uključuje doterivanje brojeva.

Suzi tvrdnju. Isti podaci, manje ambiciozan zaključak. Umesto tvrdnje o vezi, opis stanja; umesto uopštavanja na populaciju, opis uzorka. Najčešće rešenje i najčešće dovoljno.

Suzi uzorak, pa ga tako i imenuj. Ako trećina ispitanika ne odgovara kriterijumu, ali su ostali jasno određena grupa, rad se prepiše na tu grupu. Istraživanje o studentima završne godine postane istraživanje o studentima jednog studijskog programa, sa izmenjenim naslovom i predmetom — što traži saglasnost mentora i, ako je tema već prijavljena, proveru kod katedre šta se sme menjati.

Dodaj mali kvalitativni deo. Pet do osam razgovora sa ispitanicima iz iste grupe neće popraviti uzorak, ali daje materijal za tumačenje i pokazuje da je problem prepoznat i obrađen, a ne sakriven.

Ono što u svim trima slučajevima ide u rad je ograničenje, napisano sa posledicom, a ne kao izvinjenje: kako se pišu ograničenja istraživanja.

Ako problem nije u tome kakvi su podaci nego u tome što ih uopšte nema, izlaz je drugi — menja se nacrt, a tema ostaje: kada se istraživanje ne može sprovesti.

Kako se ovo piše u radu

Sve gore navedeno ostavlja trag na tri mesta, i nigde više.

U postupku stoje brojevi: koliko je poziva poslato, koliko odgovora stiglo, koliko ih je odbačeno i po kom pravilu. U obradi podataka stoji koje su mere računate i na kom konačnom broju. U ograničenjima stoji šta iz svega toga sledi za zaključke — jedna rečenica po ograničenju, sa posledicom.

Ono što nigde ne stoji jeste izvinjavanje. „Nažalost, odziv je bio slab” ne kaže ništa što brojevi već ne kažu, a unosi ton koji u radu nema šta da traži. Podatak se iznosi, posledica se imenuje, i tekst ide dalje.

Šest postupaka koji se ne rade

• Ne dopisuju se odgovori, ni sopstveni ni tuđi, ni „da bi se zaokružio uzorak”.
• Ne menjaju se pojedinačni odgovori koji „očigledno nisu ozbiljni”.
• Ne isključuju se ispitanici čiji odgovori ruše hipotezu.
• Ne prećutkuje se broj odbačenih upitnika, čak i kad je velik.
• Ne prepravlja se kriterijum uzorka posle obrade, tako da se pokloni sa onim što je dobijeno.
• Ne prikazuje se prigodan uzorak kao slučajan.

Rad sa malim uzorkom i poštenim ograničenjima prolazi. Rad sa lepim brojevima koji ne mogu da izdrže jedno pitanje o postupku ne prolazi, i to pitanje na odbrani gotovo uvek dođe.