Pilot istraživanje pre glavne ankete

Pilot istraživanje je probno sprovođenje upitnika na maloj grupi ljudi, pre nego što ga pošalješ pravom uzorku. Ne služi da se dobiju podaci, nego da se otkriju problemi u instrumentu dok se još mogu popraviti. Za diplomski rad je dovoljno pet do deset ispitanika i jedno popodne.

Odnos uloženog i dobijenog je tu bolji nego u bilo kom drugom koraku istraživanja. Pilot otkriva pitanja koja se različito razumeju, odgovore koje si prevideo, tehničke greške u formi i stvarno trajanje popunjavanja. Sve to su stvari koje se posle slanja ne mogu ispraviti — jednom kad devedeset ljudi popuni upitnik sa dvosmislenim pitanjem, taj podatak je izgubljen.

Korak se preskače najčešće od svih, i to iz istog razloga: deluje kao gubitak vremena u trenutku kad se žuri. U stvarnosti je jedina tačka u kojoj se greška plaća jednim popodnevom umesto ponovnim prikupljanjem podataka ili priznanjem u poglavlju o ograničenjima.

Šta pilot jeste, a šta nije

Pilot nije manje istraživanje sa svojim nalazima. Njegovi odgovori se ne uključuju u konačni uzorak i iz njih se ne izvode zaključci — uzorak od osam ljudi ne daje nalaz ni o čemu.

Pilot jeste provera instrumenta i postupka. Tri stvari koje proverava:

1. Razumljivost — da li ispitanik razume svako pitanje onako kako si mislio.
2. Izvodljivost — koliko traje, da li forma radi, da li grananje vodi na pravo mesto, da li se podaci izvoze kako treba.
3. Prihvatljivost — da li je neko pitanje neprijatno, previše lično ili deluje kao provera identiteta.

Postoje i veće pilot studije koje proveravaju metrijska svojstva instrumenta na većem uzorku, ali to je zahtev koji diplomski rad po pravilu nema. Ako ti ga mentor postavi, to se unapred dogovara, jer traži drugačiji obim posla.

Koga zvati i koliko ljudi

Pet do deset ljudi je dovoljno. Preko toga, nova pitanja se retko otkrivaju, a vreme se troši.

Ključan uslov nije broj nego sličnost sa pravim ispitanicima. Upitnik za zaposlene u maloprodaji koji su probali tvoje kolege sa fakulteta nije proveren — oni čitaju drugačije, poznaju tvoju temu i pogađaju šta si hteo da pitaš.

Najbolja kombinacija za studentski rad: pet do osam ljudi iz ciljne grupe, plus mentor koji pogleda vezu pitanja i hipoteza. Ako do ciljne grupe teško dolaziš, uzmi bar dvoje-troje i dopuni ostalima.

Ljudi iz pilota se ne pozivaju kasnije u glavno istraživanje. Oni su već videli upitnik i razgovarali o njemu, pa njihovi odgovori više nisu uporedivi sa ostalima.

Šta se meri i kako

Pilot se ne završava time što je neko popunio upitnik i rekao „sve je u redu”. Traže se konkretne stvari, i za svaku postoji način da se dobije.

Trajanje. Izmeri stvarno, štopericom ili vremenom upisa u formi. Ako prelazi deset minuta, deo pitanja mora da ide napolje.

Nejasna pitanja. Najjači postupak je da ispitanik naglas kaže kako razume pitanje, svojim rečima, pre nego što odgovori. Tu se odmah vidi razlika između onoga što si pitao i onoga što je stiglo.

Preskočena pitanja. Zabeleži koja pitanja ljudi preskaču ili na kojima oklevaju. Oklevanje je znak da nema odgovarajuće kategorije.

Nedostajuće kategorije. Ako više od jednog ispitanika koristi „Drugo (upišite)”, lista nije potpuna.

Neprijatnost. Pitaj na kraju: da li je neko pitanje bilo neprijatno ili previše lično? Ljudi to obično neće reći sami.

Tehnika. Da li se forma otvara na telefonu, da li grananje vodi na pravo mesto, kako izgleda izvezena tabela. To proveravaš ti, ne ispitanik: Google Forms za anketu u diplomskom radu.

Korisna sitnica: izvezi podatke iz pilota i uradi celu obradu na tih osam odgovora. Nije važno šta brojevi kažu — važno je da otkriješ da neka kolona stiže kao tekst umesto broja, ili da pitanje sa više odgovora ne možeš da prebrojiš onako kako si zamislio.

Kako se vodi pilot razgovor

Ako pilot radiš uživo, redosled koji daje najviše:

1. Reci da testiraš upitnik, ne ispitanika, i da su primedbe ono što ti treba.
2. Pusti ga da popuni bez prekidanja, dok ti meriš vreme i beležiš gde zastaje.
3. Tek posle popunjavanja prođi kroz pitanja koja su ti sumnjiva i pitaj kako ih je razumeo.
4. Pitaj da li nešto nedostaje, da li je nešto bilo neprijatno i da li je upitnik bio predugačak.
5. Zapiši primedbe odmah, pre sledećeg ispitanika.

Ako pilot ide na daljinu, pošalji uz link tri pitanja na koja tražiš odgovor porukom: koliko je trajalo, koje pitanje je bilo nejasno, i da li nešto nedostaje.

Ne brani svoja pitanja u toku razgovora. Objašnjenje „pa mislio sam na…” znači da pitanje treba prepisati, jer pravim ispitanicima nećeš moći da objasniš.

Tipične izmene koje iz pilota proiziđu

Na osnovu onoga što se u praksi najčešće javlja, evo šta obično izlazi iz osam popunjenih upitnika:

• Jedno do dva pitanja se prepisuju jer su različito shvaćena.
• Dodaje se kategorija koja je nedostajala u nekom zatvorenom pitanju.
• Skraćuje se upitnik za nekoliko pitanja koja ne pripadaju nijednoj hipotezi.
• Dodaje se opcija „Ne odnosi se na mene” tamo gde pitanje ne važi za sve.
• Menja se redosled ako je neki blok terao ljude da odustanu.
• Popravlja se uputstvo ako neko nije znao koliko odgovora sme da označi.

Ako pilot ne proizvede nijednu izmenu, najverovatnije nisi tražio kako treba. Upitnik koji je iz prve savršen je redak, i sumnja je opravdanija od zadovoljstva.

Katalog grešaka koje pilot najčešće otkriva, sa ispravkama: najčešće greške u anketama.

Šta se radi sa pilot odgovorima

Jasno pravilo: pilot odgovori ne ulaze u konačni uzorak. Instrument je posle izmena drugačiji, pa se odgovori na staru verziju ne mogu mešati sa novima.

Ako pilot nije proizveo nijednu izmenu, neki mentori dozvoljavaju da se ti odgovori zadrže. To je odluka koja se dogovara unapred, ne posle, i prakse se razlikuju po katedrama. Sigurnija varijanta je da se ne zadrže.

Pilot odgovori se čuvaju dok rad ne bude odbranjen, kao dokaz da je korak sproveden, ali se u rad ne prikazuju kao podaci.

Kako se pilot opisuje u metodologiji

Dve do četiri rečenice, na kraju opisa instrumenta. Traži se ko, koliko, kada, šta je nađeno i šta je zbog toga promenjeno.

Slabo: Upitnik je pre primene testiran.

Jako: Pre glavnog istraživanja upitnik je probno popunilo osam ispitanika iz ciljne grupe, u prvoj nedelji marta. Prosečno trajanje popunjavanja bilo je devet minuta. Na osnovu njihovih primedbi preformulisana su dva pitanja koja su različito tumačena, u pitanju o izvorima informisanja dodata je kategorija koja je nedostajala, a kod tri pitanja uvedena je opcija „Ne odnosi se na mene”. Odgovori iz probnog popunjavanja nisu uključeni u konačni uzorak.

Ovaj pasus radi još nešto: pokazuje komisiji da instrument nije nastao improvizacijom. To je jedan od uobičajenih pravaca pitanja na odbrani — kako znaš da su te ispitanici razumeli. Pilot je odgovor koji se ne može osporiti.

Gde tačno taj pasus stoji u odnosu na ostale delove metodologije: metodologija diplomskog rada. Šta se sme reći o pouzdanosti instrumenta bez računanja koeficijenata: pouzdanost i validnost.

Kad se pilot ne može sprovesti

Postoje situacije u kojima do ciljne grupe ne možeš dvaput: uzak uzorak stručnjaka, jednokratan pristup organizaciji, kratak rok koji je van tvoje kontrole.

Tada radiš sledeće po redu:

• Pilot sa ljudima koji su najbliži ciljnoj grupi, koliko god ih ima.
• Provera sa mentorom, pitanje po pitanje, uz obrazloženje šta koje meri.
• Sopstvena provera kroz obradu probnih, izmišljenih odgovora — bar da tehnika radi.
• Iskrena napomena u ograničenjima da instrument nije proveren na ciljnoj grupi.

Poslednja stavka nije priznanje slabosti nego tačan opis postupka, i bolje je da stoji u tvom radu nego da se pojavi kao pitanje komisije.

Najčešće greške

• Pilot preskočen zbog žurbe, pa se problem otkrije na devedeset popunjenih upitnika
• Pilot sa ljudima koji nisu slični ispitanicima
• Pitanje „je li sve jasno” umesto traženja konkretnih primedbi
• Trajanje procenjeno, a ne izmereno
• Podaci iz pilota nikad izvezeni, pa se tehnički problem otkrije u obradi
• Pilot odgovori ubačeni u konačni uzorak bez dogovora sa mentorom
• Pilot sproveden, a nigde nije opisan u metodologiji
• Primedbe prikupljene, pa nijedna izmena nije napravljena

Plan za jedno popodne

1. Pripremi konačnu verziju upitnika i link, tačno kako će je videti ispitanici.
2. Pozovi pet do osam ljudi iz ciljne grupe.
3. Meri vreme za svakog i beleži gde zastaju.
4. Posle popunjavanja pitaj kako su razumeli tri pitanja koja su ti najsumnjivija.
5. Izvezi podatke i probaj celu obradu na tih nekoliko odgovora.
6. Napravi spisak izmena i prođi ih sa mentorom.
7. Napiši pasus o pilotu u metodologiji dok je sve još sveže.

Gde ovaj korak stoji u rasporedu celog rada, da ne padne na poslednji dan: plan izrade diplomskog rada. A instrument koji se pilotom proverava, od uputstva do rasporeda pitanja: kako se pravi upitnik za diplomski rad.