Najčešće greške u anketama
Sugestivna, dvostruka i nemerljiva pitanja, loše ponuđeni odgovori i skrivene pretpostavke — svaka greška sa primerom i ispravljenom verzijom.
Greška u anketi ima jedno neprijatno svojstvo: vidi se tek u obradi, kad je kasno. Dok pišeš upitnik, sugestivno pitanje izgleda kao jasno pitanje, a dvostruko kao ekonomično. Problem se pojavi kad podaci stignu i ispostavi se da devedeset ljudi odgovara na nešto što ne možeš da protumačiš, ili da se svi slažu sa tvrdnjom sa kojom je bilo teško ne složiti se.
Zbog toga je ovaj tekst napisan kao katalog: za svaku čestu grešku stoji loša verzija pitanja i njena ispravka. Cilj je da upitnik pre slanja prođeš red po red i uporediš ga sa ovim spiskom — to je pola sata rada koji spasava mesec dana.
Greške su poređane po tome koliko štete prave. Prve tri su takve da podatak čine neupotrebljivim; ostale ga kvare ili smanjuju broj popunjenih upitnika.
Sugestivno pitanje
Sugestivno pitanje nagoveštava koji je odgovor poželjan. Ispitanik ga pročita, shvati šta se od njega očekuje i posluša — ne iz zle namere, nego iz pristojnosti.
Slabo: Da li se slažete da redovna povratna informacija od rukovodioca doprinosi boljem radu zaposlenih?
Pitanje već tvrdi da doprinosi. Slaganje sa njim ne govori ništa, jer bi se sa tom tvrdnjom složio skoro svako.
Jako: Koliko često dobijate povratnu informaciju o svom radu od neposrednog rukovodioca? (Nikada / Ređe od jednom u šest meseci / Jednom u nekoliko meseci / Jednom mesečno / Jednom nedeljno ili češće)
Ispravka radi dve stvari: uklanja tvrdnju iz pitanja i menja stav u ponašanje, koje se lakše i pouzdanije prijavljuje.
Sugestija se krije i u pridevima. „Da li Vam smeta preterana administracija?” već je ocenila da je administracija preterana. Neutralna verzija pita koliko vremena nedeljno odlazi na administrativne poslove.
Isto važi za redosled: ako pre pitanja stoji pasus o značaju neke pojave, odgovori na to pitanje više nisu neutralni.
Dvostruko pitanje
Dvostruko pitanje traži jedan odgovor na dve stvari. Onaj ko se prema njima različito odnosi nema šta da izabere.
Slabo: Da li ste zadovoljni platom i mogućnostima napredovanja?
Jako: Dva odvojena pitanja — jedno o visini primanja, drugo o mogućnostima napredovanja.
Prepoznaje se po vezniku „i” ili „ili” u sredini pitanja. Nije svaki „i” problem — „Da li ste zadovoljni platom i drugim primanjima?” je jedna stvar ako ih ispitanik doživljava kao celinu. Provera: može li neko da ima suprotan stav prema dva dela pitanja? Ako može, razdvoji.
Ista greška u skali slaganja izgleda ovako:
Slabo: Rukovodstvo me redovno obaveštava o odlukama i uzima u obzir moje mišljenje.
Jako: Dve zasebne stavke: jedna o obaveštavanju, druga o uvažavanju mišljenja.
Više o pisanju stavki za skalu: Likertova skala.
Nemerljivo pitanje
Nemerljivo je ono pitanje čiji odgovor ne možeš da smestiš ni u jednu kategoriju, ili u kom svaki ispitanik meri nešto svoje.
Slabo: Kako ocenjujete nivo digitalne transformacije u Vašoj organizaciji?
„Digitalna transformacija” nije pojam koji ispitanik nosi u glavi sa istim značenjem kao ti. Jedan misli na sajt, drugi na softver za fakturisanje, treći na rad od kuće. Odgovori su brojevi bez zajedničkog sadržaja.
Jako: Koliko poslova koje svakodnevno obavljate zahteva korišćenje programa ili aplikacija? (Nijedan / Manji deo / Otprilike polovina / Većina / Svi)
Isti obrazac važi za „organizacionu klimu”, „sinergiju”, „održivost”, „kvalitet usluge”. Rešenje nije da se pojam objasni u zagradi, nego da se razloži na ponašanja i pojave koje ispitanik može da prijavi. Postupak razlaganja pojma na indikatore radi se pre pisanja pitanja, ne posle.
Druga vrsta nemerljivosti je traženje podatka koji ispitanik nema. „Koliki je prosečan godišnji obrt Vašeg sektora?” izvršilac ne zna, pa će pogoditi. Pitaj samo ono što je ispitanik u stanju da zna.
Neodređene vremenske odrednice
„Često”, „retko”, „povremeno”, „s vremena na vreme” — svaka od tih reči kod nekog znači nedeljno, kod nekog godišnje.
Slabo: Da li često koristite ovu uslugu? (Da / Ne)
Jako: Koliko puta ste koristili ovu uslugu u poslednjih dvanaest meseci? (Nijednom / Jednom / Dva do tri puta / Četiri do šest puta / Više od šest puta)
Ispravka uvek radi istu stvar: daje vremenski okvir i brojiv odgovor. Okvir mora biti takav da se ispitanik može setiti — dvanaest meseci za retke događaje, mesec dana za svakodnevne. „Koliko puta ste u poslednjih pet godina…” daje procenu, ne podatak.
Ponuđeni odgovori koji ne rade
Pitanje može biti besprekorno, a ponuđeni odgovori da unište podatak. Tri tipična slučaja:
Preklapanje. „Do 5 / 5–10 / 10–15” — onaj sa tačno pet godina ima dva mesta. Ispravno: „Do 5 / Od 6 do 10 / Od 11 do 15”.
Nepotpunost. Lista koja ne pokriva sve slučajeve tera ispitanika da bira najbliže. Rešenje je „Drugo (upišite)” ili dodatna kategorija koju si prevideo.
Neuravnoteženost. Skala „Odlično / Vrlo dobro / Dobro / Loše” ima tri pozitivna i jedan negativan stepen, pa prosečan rezultat ispada visok sam od sebe. Broj stepeni sa jedne i druge strane sredine mora biti isti.
Nedostatak izlaza. Ako pitanje ne važi za sve, mora postojati „Ne odnosi se na mene”. Bez toga ti ljudi biraju sredinu i pomeraju rezultat.
Više o iscrpnosti i isključivosti kategorija: otvorena i zatvorena pitanja u anketi.
Pretpostavka skrivena u pitanju
Pitanje koje pretpostavlja nešto što ne mora da važi daje odgovore od ljudi na koje se ne odnosi.
Slabo: Koliko ste zadovoljni obukom koju ste prošli? (skala 1–5)
Šta odgovara onaj ko obuku nije prošao?
Jako: Prvo filtersko pitanje — „Da li ste u poslednje dve godine prošli neku obuku u organizaciji? (Da / Ne)” — pa se pitanje o zadovoljstvu prikazuje samo onima koji su odgovorili potvrdno.
U elektronskoj formi to rešava grananje; kako se postavlja: Google Forms za anketu u diplomskom radu. Na papiru se piše uputstvo „Ako ste odgovorili NE, pređite na pitanje 14”.
Ista greška u blažem obliku: „Koji sajt najčešće koristite?” pretpostavlja da ispitanik uopšte koristi sajtove.
Negacija u pitanju
Negacija traži da ispitanik dvaput obrne smisao, i tu se greši i bez loše volje.
Slabo: Da li se ne slažete sa tvrdnjom da rad od kuće smanjuje produktivnost?
Jako: Rad od kuće smanjuje moju produktivnost. (skala slaganja)
Ovo je jedina greška sa izuzetkom: obrnute stavke u skali su namerno okrenute i imaju svrhu — ali one su formulisane pozitivno u suprotnom smeru, a ne kroz negaciju.
Žargon, skraćenice i predugačke rečenice
Pitanje koje traži drugo čitanje je izgubljeno pitanje. Ispitanik ga neće čitati dvaput, nego će odgovoriti otprilike.
Slabo: U kojoj meri smatrate da implementacija KPI sistema u okviru procesa upravljanja učinkom doprinosi transparentnosti evaluacije rezultata rada zaposlenih na Vašem radnom mestu?
Jako: Da li znate po kojim merilima se ocenjuje Vaš rad? (Da, jasno su mi / Delimično / Ne znam)
Praktično merilo: pitanje duže od dvadesetak reči skoro uvek može da se skrati ili razdvoji.
Greške u rasporedu i dužini
Nisu sve greške u pojedinačnim pitanjima.
- Predugačak upitnik. Preko desetak minuta popunjavanja raste broj nedovršenih. Izbaci pitanja koja ne pripadaju nijednoj hipotezi — obično ih ima nekoliko.
- Osetljiva pitanja na početku. Lična pitanja pre nego što se uspostavi poverenje smanjuju odziv.
- Redosled koji sugeriše. Blok o problemima pre pitanja o opštem zadovoljstvu obara ocenu zadovoljstva.
- Obavezna sva pitanja. Jedno obavezno pitanje na koje ispitanik ne želi da odgovori zaustavlja ceo upitnik.
- Sve na jednom ekranu. Dugačka strana bez podele deluje neprohodno.
Pregled: greška, šteta, ispravka
| Greška | Šta pokvari | Ispravka u jednom potezu |
|---|---|---|
| Sugestivno pitanje | Odgovori naginju u jednu stranu | Izbaci tvrdnju iz pitanja, pitaj o ponašanju |
| Dvostruko pitanje | Odgovor se ne može protumačiti | Razdvoj na dva pitanja |
| Nemerljiv pojam | Svako meri nešto drugo | Razloži pojam na konkretne pojave |
| „Često”, „retko” | Odgovori nisu uporedivi | Daj vremenski okvir i broj |
| Preklapanje kategorija | Isti slučaj ima dva mesta | Pomeri granice za jedan |
| Nepotpuna lista | Ljudi biraju najbliže | Dodaj „Drugo (upišite)“ |
| Skrivena pretpostavka | Odgovaraju i oni na koje se ne odnosi | Dodaj filtersko pitanje |
| Negacija | Dvostruko obrtanje smisla | Napiši tvrdnju pozitivno |
| Žargon | Površno odgovaranje | Piši rečima ispitanika |
Kako da ih uhvatiš pre slanja
Tri provere, po rastućoj korisnosti.
Sam, red po red. Prođi upitnik sa ovom tabelom pored sebe. Za svako pitanje odgovori na tri stvari: šta tačno meri, kojoj hipotezi pripada, i kako ćeš ga obraditi.
Neko ko nije iz tvoje oblasti. Daj upitnik nekome ko ne zna temu i traži da naglas kaže kako razume svako pitanje. Nesporazumi izlaze odmah.
Probno popunjavanje sa pravim ispitanicima. Pet do deset ljudi sličnih onima koje ćeš ispitivati. To je jedini način da vidiš i koliko popunjavanje traje i koja pitanja ljudi preskaču: pilot istraživanje pre glavne ankete.
Ako su greške otkrivene tek posle prikupljanja podataka, ne prećutkuj ih. Ono što se ne može popraviti, priznaje se u poglavlju o ograničenjima, sa naznakom na koji nalaz utiče — to je znatno bolje primljeno nego da problem otkrije komisija: ograničenja istraživanja.
Poslednja provera pred slanje
- Postoji li pitanje koje već nagoveštava odgovor?
- Ima li pitanja sa veznikom „i” koje zapravo pita dve stvari?
- Da li svaki pojam u pitanju znači isto meni i ispitaniku?
- Jesu li sve vremenske odrednice pretvorene u okvir i broj?
- Pokrivaju li ponuđeni odgovori sve slučajeve, bez preklapanja i sa uravnoteženim stepenima?
- Postoji li pitanje koje pretpostavlja nešto što ne mora da važi?
- Koliko traje popunjavanje kad ga neko drugi uradi sa štopericom?
Kako se ceo instrument sastavlja od nule, sa uputstvom i redosledom delova: kako se pravi upitnik za diplomski rad.
A kad odgovori već stignu i deo njih ne valja, pravila za odbacivanje se postavljaju pre obrade: šta kada prikupljeni podaci ne valjaju.