Koliko dugačak upitnik ispitanik završi

Upitnik koji niko ne završi ne daje loše podatke. Daje polovinu podataka, i to sistematski pomerenu polovinu — jer ne odustaju nasumični ljudi, nego oni kojima je bilo najduže.

Zato dužina nije pitanje pristojnosti prema ispitaniku nego pitanje valjanosti nalaza. Ovaj tekst se bavi time gde se tačno gubi, šta ga zapravo troši i šta izlazi kad se mora skratiti.

Nijedan broj ovde nije propis. Koliko je pitanja previše zavisi od toga koga pitaš, koliko je pitanje teško i kako ga dobija — i to se utvrđuje probom, ne pravilom.

Gde se odustaje

Odustajanje nije ravnomerno raspoređeno. Postoje mesta koja se ponavljaju iz ankete u anketu.

Na prvom ekranu. Ako prvo što ispitanik vidi jeste zid uvodnog teksta ili niz demografskih pitanja, deo ljudi zatvori pre nego što je išta odgovorio. Tu se gubi najviše, i to pre nego što je bilo šta izmereno.

Na prvoj dugoj skali. Blok od dvadesetak tvrdnji sa istim odgovorima je mesto na kom se prvi put vidi koliko toga još sledi. Ako do njega dolazi prerano, ljudi ga procene kao uzorak celine.

Kad se traži da se kuca. Otvoreno pitanje traži drugačiji napor od klika. Ono na koje se ne mora odgovoriti većina preskoči; ono na koje se mora, deo ljudi ne prođe.

Na osetljivom pitanju. Prihod, zdravlje, procena pretpostavljenog, sve što deluje kao da može da se poveže sa osobom. Ako dolazi bez najave i bez objašnjenja čemu služi, tu se anketa zatvara.

Kad ne vidi kraj. Anketa bez ikakve oznake napretka ostavlja ispitanika u neizvesnosti, a neizvesnost se u nekom trenutku razreši zatvaranjem prozora.

Vredi razdvojiti dve stvari koje se obe zovu odustajanjem. Jedno je nezapočet upitnik — čovek je otvorio link i zatvorio ga. Drugo je prekinut upitnik, gde deo odgovora postoji. Prvo je pitanje poziva i prvog ekrana, drugo je pitanje dužine. Ako ti se ljudi gube pre prvog pitanja, skraćivanje instrumenta neće promeniti ništa.

Prvo što se radi jeste da se pogleda gde se u tvojim podacima to dogodilo. Alati za onlajn ankete pokazuju na kom pitanju su ljudi stali, i to je konkretniji podatak od svake pretpostavke.

Dužina se ne meri brojem pitanja

Trideset kratkih zatvorenih pitanja i deset otvorenih nisu ista anketa, iako je prva duplo „duža”.

Ono što se stvarno troši jeste pažnja, a ona se troši na tri načina:

Naporom po pitanju. Klik na ponuđeni odgovor je jedan napor. Prisećanje („koliko puta ste u poslednjih godinu dana…”) je znatno veći. Kucanje rečenice je najveći.

Promenama tipa zadatka. Svaki put kad se format promeni — sa skale na otvoreno pitanje, pa na rangiranje — ispitanik mora ponovo da pročita uputstvo. Anketa sa pet različitih formata deluje duže od ankete sa dva, pri istom broju pitanja.

Osećajem da pitanje nema svrhe. Pitanje za koje ispitanik ne vidi zašto se postavlja troši više nego pitanje koje mu je razumljivo. To je i razlog zbog kog demografija na kraju prolazi bolje nego demografija na početku: do kraja se već vidi o čemu je istraživanje.

Iz toga sledi praktičan test: prođi kroz sopstveni upitnik i za svako pitanje proceni napor, umesto da ih brojiš. Dva otvorena pitanja koja se mogu izbaciti vrede više od deset izbačenih stavki sa skale.

Kako se skraćuje bez gubitka nalaza

Skraćivanje kreće od hipoteza, ne od upitnika. Pitanje nije „šta mi se najmanje dopada” nego „šta mi neće trebati u obradi”.

Postupak je mehanički i radi se u tabeli sa dve kolone: pitanje, i gde se pojavljuje u obradi.

Sve što u drugoj koloni ima „nigde” izlazi. Bez pregovora, bez „možda zatreba”. Pitanje koje nije vezano ni za jednu hipotezu, ni za opis uzorka, ni za kontrolu, nema šta da radi u instrumentu — a upravo takva pitanja čine većinu viška.

Tabelu pravi pre nego što upitnik uđe u konačan oblik, a ne posle. Ista tabela ti kasnije služi kao osnova za opis instrumenta u metodologiji i kao podsetnik u obradi — dakle ionako je pišeš, pitanje je samo da li je pišeš na vreme.

Ista tabela rešava i drugi problem, obrnut: pokazuje hipotezu za koju nemaš nijedno pitanje. Bolje je to videti pre slanja nego u obradi. Kako se od hipoteze uopšte dolazi do pitanja, pokriva kako se pravi upitnik.

Šta izlazi prvo

Kad tabela ne skrati dovoljno, redosled je ovaj:

1. Otvorena pitanja koja nisu nosiva. Najskuplja su po ispitaniku i najskuplja u obradi. Jedno ostaje ako stvarno nosi nalaz; ostala izlaze.
2. Dupla pitanja. Ista stvar pitana dvaput iz različitog ugla, bez namere da se pouzdanost proverava. Ostaje jedno.
3. Skraćene verzije skala. Ako instrument ima priznatu kraću verziju, ona se koristi. Sopstveno skraćivanje tuđe skale nije isto — to se ne radi bez razgovora sa mentorom, jer menja ono što skala meri.
4. Demografija koja se ne koristi. Svako demografsko pitanje koje ne ulazi ni u jednu podelu ni u opis uzorka izlazi. Usput smanjuje i rizik prepoznavanja ispitanika.
5. Grananje umesto pitanja za sve. Pitanje koje se odnosi na deo ispitanika prikazuje se samo njima, ako alat to dozvoljava.

Ono što se ne izbacuje: uvodno objašnjenje o svrsi i anonimnosti, i pitanje o pristanku. To nisu pitanja nego uslov pod kojim istraživanje uopšte stoji.

Šta se radi sa delimično popunjenim

Deo ljudi će prekinuti bez obzira na sve, i njihovi odgovori ostaju u sistemu.

Odluka o tome šta se s njima radi donosi se po pravilu zapisanom unapred, a ne po tome kako ispadne. Uobičajeno je da upitnik prekinut pre glavnog dela ne ulazi u obradu, a da se kod prekinutog pri kraju gleda da li su ključne varijable popunjene.

Šta god da je pravilo, u radu se navodi: koliko je upitnika započeto, koliko završeno i koliko ušlo u obradu. Ta tri broja nisu isti podatak i ne zamenjuju se. Kako se računaju i zašto nizak odziv nije isto što i mali uzorak, razlaže stopa odgovora na anketu.

Odustajanje je, uz to, podatak sam po sebi. Ako su ljudi masovno stali na istom pitanju, to pitanje nije bilo dobro — i to se sme napisati u ograničenjima.

Kako se dužina proverava pre slanja

Ne procenom, nego probom. Nekoliko ljudi koji liče na tvoje ispitanike popuni upitnik dok ti meriš vreme i gledaš gde zastaju.

Šta se iz toga vidi, a iz čitanja ne:

• koliko stvarno traje, u odnosu na ono što si napisao u pozivu,
• na kom pitanju se prvi put pita „šta ovde treba”,
• koje pitanje se preskače,
• gde se javi umor, prepoznatljiv po tome što odgovori postanu jednolični.

Proba se radi na konačnoj verziji i u obliku u kom će je ispitanik dobiti — istim linkom, na telefonu ako većina odgovara telefonom. Upitnik koji na ekranu računara staje na dva ekrana ume da se na telefonu razvuče na deset, i tu nastaje razlika između procenjene i stvarne dužine.

Kako se takva proba vodi, koga zvati i šta se sa tim odgovorima radi, opisuje pilot istraživanje.

Poslednja stvar, banalna a bitna: vreme koje napišeš u pozivu mora da bude tačno. Ako obećaš kratko popunjavanje, a anketa traje dvostruko duže, ljudi ne odustaju zato što je duga nego zato što si ih pogrešno pripremio — i to se odrazi i na odziv sledeći put.