Stopa odgovora na anketu
Kako se računa stopa odgovora na anketu, šta se radi kad se ne zna koliko je ljudi pozvano i zašto nizak odziv nije isto što i mali uzorak.
Kratak odgovor
Stopa odgovora je odnos broja ljudi koji su popunili upitnik i broja ljudi koji su pozvani da ga popune, izražen u procentima. U radu se navode tri broja — koliko je pozvano, koliko je odgovora stiglo i koliko ih je ušlo u obradu posle isključivanja nepotpunih. Ako se anketa delila otvorenim linkom, broj pozvanih se ne zna, pa se stopa odgovora ne računa nego se opiše kako je i gde link deljen.
Stopa odgovora je odnos onih koji su popunili upitnik prema onima koji su pozvani da ga popune. Zvuči kao administrativni podatak, a zapravo je jedan od najjačih pokazatelja koliko se tvom uzorku veruje — jer govori ko je ostao napolju.
Rad koji navodi samo konačan broj ispitanika daje polovinu informacije. Osamdeset sedam ljudi je nešto sasvim drugo kad ih je pozvano sto, i nešto sasvim drugo kad ih je pozvano hiljadu.
Kako se računa
Broj popunjenih upitnika podeljen brojem pozvanih, puta sto. Ako je poziv upućen na 210 adresa a stiglo je 96 odgovora, stopa odgovora je oko 45,7%.
Dve stvari koje se tu greše:
Imenilac nije populacija. Ako u ustanovi radi 400 ljudi, a ti si poziv poslao na 210 adresa, imenilac je 210. Odnos prema svih 400 je obuhvat populacije i to je drugi podatak — koristan, ali se ne zove stopa odgovora. Razlika između ta dva skupa i zašto se ne mešaju: populacija i uzorak.
Brojilac su popunjeni, a ne otvoreni upitnici. Broj ljudi koji je kliknuo na link nije broj ljudi koji je odgovorio.
Procenat se, kao i svuda u radu, piše uz broj na koji se odnosi, da se iz same rečenice vidi od čega je računat.
Kada se broj pozvanih ne zna
Ovo je slučaj u većini studentskih anketa. Link je objavljen u grupi, prosleđen dalje, podeljen na mreži — i niko ne zna koliko je ljudi taj poziv videlo.
Tada se stopa odgovora ne izmišlja. Umesto nje se opisuje postupak: gde je link objavljen, koliko je grupa ili kanala obuhvaćeno, koliko je dana bio otvoren i ko je realno mogao da ga vidi.
Slabo: Stopa odgovora iznosila je 62%.
Jako: Upitnik je bio dostupan preko otvorenog linka objavljenog u četiri studentske grupe na društvenim mrežama, u periodu od deset dana. Broj osoba koje su poziv videle ne može se utvrditi, pa se stopa odgovora ne izračunava. Prikupljeno je 143 odgovora.
Druga verzija je poštenija i, suprotno očekivanju, jača — jer pokazuje da znaš razliku između podatka koji imaš i podatka koji nemaš. Kako se raspoređivanje i trajanje elektronske ankete podešava: Google Forms za anketu.
Tri broja koja idu u rad
U metodologiji stoje tri, i uvek istim redom.
| Broj | Šta znači |
|---|---|
| Pozvani | koliko je ljudi dobilo poziv ili koliko je upitnika podeljeno |
| Odgovorili | koliko je upitnika vraćeno ili poslato |
| U obradi | koliko ih je ostalo posle isključivanja nepotpunih i nevažećih |
Uz treći broj obavezno ide kriterijum isključivanja, napisan i isti za sve. „Isključeni su upitnici u kojima nije odgovoreno na više od dvadeset odsto pitanja” je kriterijum. „Izbačeni su oni koji su odgovarali neozbiljno” nije, jer se ne može proveriti niti ponoviti.
Delimično popunjeni upitnici
Elektronska anketa uvek donosi grupu ljudi koji su počeli pa stali. Odluka o njima se donosi pre nego što pogledaš njihove odgovore, da na nju ne utiče to kako ti se rezultat uklapa.
Tri uobičajena postupka:
- Prag popunjenosti. Upitnici ispod postavljenog praga se isključuju u celini.
- Obavezna pitanja. Upitnik bez odgovora na pitanja koja nose hipoteze se isključuje, bez obzira na ostatak.
- Zadržavanje uz praznine. Upitnik ostaje, a nedostajući odgovori se obeležavaju i izuzimaju u obradi onog pitanja na koje se odnose. Tada se uz svaku tabelu navodi na koliko odgovora se ona odnosi.
Bilo koji od tri prolazi; ono što ne prolazi je da se odluka menja u hodu.
Mesto na kom se tačka odustajanja najbolje vidi je i mesto na kom se traži uzrok: ako je polovina ljudi stala na istom pitanju, to pitanje je problem, a ne ispitanici. Sugestivno, dvosmisleno ili predugačko pitanje se u statistici odustajanja vidi kao oštar pad, i to je podatak koji vredi zabeležiti i za buduća istraživanja.
Zašto nizak odziv nije samo mali uzorak
Ovo je suština, i zbog nje stopa odgovora uopšte stoji u metodologiji.
Kad od dvesta pozvanih odgovori četrdeset, nisi dobio slučajno izabranih četrdeset ljudi. Dobio si one koji su bili voljni da odgovore — a voljnost po pravilu ide zajedno sa temom istraživanja. Na anketu o zadovoljstvu poslom lakše odgovaraju oni koji imaju šta da kažu; na anketu o korišćenju neke usluge oni koji je koriste.
Posledica: nalaz je pomeren u smeru koji ne možeš da izmeriš i ne možeš da ispraviš većim brojem odgovora iz istog kanala. Zato se nizak odziv ne rešava tako što se sakrije, nego tako što se napiše kao ograničenje, uz nagoveštaj u kom smeru bi pomeraj mogao da ide: ograničenja istraživanja.
Ako imaš bilo kakav podatak o strukturi cele populacije — na primer odnos muškaraca i žena u kolektivu — uporedi ga sa strukturom onih koji su odgovorili. Poklapanje je argument u tvoju korist; odstupanje je nalaz koji vredi napisati.
Šta realno podiže odziv
- Kratak upitnik. Svaki minut preko deset izgubi deo ljudi.
- Poziv od nekoga koga ispitanici poznaju, uz tvoje objašnjenje ko si i zašto pitaš.
- Jedan podsetnik, nekoliko dana posle prvog poziva. Više od jednog smeta.
- Vreme slanja koje odgovara ispitanicima, a ne tebi.
- Jasno rečeno trajanje na početku — ljudi odustaju od neizvesnosti, ne od pet minuta.
- Prikupljanje uživo tamo gde je moguće; odziv je neuporedivo viši nego preko linka.
Ono što odziv ne podiže: ponavljanje istog poziva u istoj grupi i produžavanje roka za još dve nedelje bez novog kanala. Ako se posle prvog podsetnika ništa ne pomeri, kanal je iscrpljen i vreme je da se traži drugi, a ne da se čeka duže.
Kako se piše
Slabo: Istraživanje je sprovedeno na uzorku od 87 ispitanika.
Jako: Poziv za učešće upućen je na 210 službenih adresa. Stiglo je 96 odgovora, od kojih je 9 isključeno jer je odgovoreno na manje od osamdeset odsto pitanja. Konačan uzorak čini 87 ispitanika, odnosno 41,4% pozvanih. Struktura po polu odgovara strukturi zaposlenih u ustanovi, dok su zaposleni sa manje od dve godine staža nešto slabije zastupljeni, što je navedeno među ograničenjima.
Koliko ispitanika ti je uopšte potrebno i kako se planira broj poziva da bi se do njih došlo: koliko ispitanika je dovoljno.
Najčešće greške
- Naveden samo konačan broj, bez pozvanih i odgovorenih
- Stopa odgovora izračunata iako je link bio otvoren i deljiv
- Populacija stavljena u imenilac umesto broja pozvanih
- Kriterijum isključivanja koji nije napisan ili nije isti za sve
- Odluka o nepotpunim upitnicima doneta posle uvida u odgovore
- Nizak odziv prećutan umesto napisan među ograničenjima
- Nizak odziv predstavljen samo kao mali uzorak, bez pomena pristrasnosti
- Procenti računati na različitim imeniocima u različitim tabelama
Provera pre nego što zatvoriš anketu
- Znam li tačno koliko je ljudi pozvano?
- Ako ne znam, kako ću opisati kanal umesto da računam procenat?
- Koji prag popunjenosti primenjujem i jesam li ga zapisao pre obrade?
- Koliko ih je odustalo i na kom pitanju?
- Odgovara li struktura onih koji su odgovorili onome što znam o populaciji?
- Imam li još jedan kanal na koji mogu da pošaljem poziv?
- Kako ću ograničenje zbog odziva napisati tako da kaže i u kom smeru pomera nalaz?