Kako se obrađuju odgovori na otvorena pitanja

Odgovori na otvorena pitanja obrađuju se u četiri koraka: pročitaš sve odgovore bez označavanja, svakom odgovoru dodeliš jednu ili više kratkih oznaka — kodova, srodne kodove spojiš u teme, pa svaku temu opišeš u tekstu uz broj odgovora i jedan doslovan primer. Postupak je ručni i nema prečice; ono što ima jeste red kojim se radi, jer se u drugom redosledu kategorije prave po prvom utisku i posle se ne slažu.

Otvoreni odgovori nisu skraćena verzija zatvorenih. Zatvoreno pitanje ti već daje kategoriju i ostaje samo da se prebroji. Otvoreno pitanje daje tekst, a tekst nema vrednost dok ne dobije oznaku. Zbog toga se u radu ne sme desiti ono najčešće: da se u prilogu vidi otvoreno pitanje, a u rezultatima stoji jedna rečenica tipa „ispitanici su navodili različite razloge”.

Druga stvar koja se propušta jeste granica tvrdnje. Otvoreni odgovori pokazuju šta ljudi kažu i kojim rečima, a ne koliko ih tako misli. Trideset jedan pomen visine primanja na sedamdeset četiri odgovora je podatak o tvom materijalu, ne o populaciji, i tako se piše.

Šta koji tip pitanja uopšte daje i koliko ih upitnik podnosi, razrađeno je zasebno: otvorena i zatvorena pitanja u anketi. Ovaj tekst kreće od trenutka kad odgovori već stoje u tabeli.

Kako materijal izgleda pre obrade

Izvezi odgovore u tabelu sa tri kolone: oznaka ispitanika, doslovan odgovor, prazna kolona za kodove. Ništa se ne prepravlja — ni pravopis, ni redosled reči. Ako odgovor ima grešku, ostaje sa greškom; ako je citiraš u radu, greška se ne popravlja nego se prenosi.

Pre kodiranja se odvoji ono što nije odgovor. To su tri grupe i svaka se broji posebno:

• prazna polja — ispitanik je pitanje preskočio,
• odbijanje — „ne znam”, „nemam komentar”, „/”,
• odgovor van pitanja — komentar o samom upitniku ili o nečemu drugom.

Broj tih slučajeva se navodi u rezultatima. Ako je od devedeset ispitanika pitanje odgovorilo pedeset dvoje, imenilac svake dalje brojke je pedeset dva, ne devedeset. To je najčešća greška u računanju udela kod otvorenih pitanja: procenti u radu.

Prvi prolaz: čitanje bez olovke

Pročitaj sve odgovore od prvog do poslednjeg i ne zapisuj ništa osim najviše pet reči utiska na kraju. Cilj je da vidiš raspon — koliko su odgovori dugi, da li se ponavljaju, da li postoji nešto što nisi očekivao.

Ovaj korak se preskače jer deluje kao gubljenje vremena, a sprečava tipičnu nezgodu: kategorije napravljene na prvih petnaest odgovora, koje na osamdesetom više ne rade, pa se ceo posao radi iz početka.

Kodiranje: od odgovora do oznake

Kod je kratka oznaka za ono o čemu odgovor govori, najviše tri reči. Ne opis, ne tumačenje, ne zaključak.

Postoje dva načina da se kod dobije i oba su ispravna:

Za diplomski rad se najčešće kreće od reči ispitanika, pa se pri grupisanju prelazi na pojmove. Tako kategorije ostaju vezane za materijal, a ne za ono što si očekivao da ćeš naći.

Tri pravila koja rešavaju skoro sve nedoumice:

Jedan odgovor može imati više kodova. „Plata je mala, a i niko ne zna ko šta radi” nosi dva. To se mora napomenuti u radu, jer zbir pomena onda prelazi broj odgovora.

Kod se dodeljuje delu teksta, ne celom odgovoru. Kod dugih odgovora obeleži tačno rečenicu na koju se kod odnosi — kasnije ti treba za citat.

Nov kod se pravi kad postojeći ne pokriva. Ne kad bi „moglo i ovako”. Ako se lomiš između dva koda, to je znak da se ta dva preklapaju i da će se u sledećem koraku spojiti.

Posle prvih dvadesetak odgovora zastani i pogledaj listu kodova. Ako ih već ima trideset, kodiraš prefino — kodovi su postali prepričavanje. Ako ih ima tri, kodiraš pregrubo.

Od kodova do tema

Tema nastaje kad se srodni kodovi spoje u nešto što ima ime i sadržaj. Na zamišljenom istraživanju o tome šta bi zaposlenima u maloprodaji popravilo zadovoljstvo poslom, to izgleda ovako:

Broj tema po pitanju: pet do osam. Više od toga se ne može smisleno prikazati u tabeli, a i znak je da grupisanje nije završeno. Teme sa jednim ili dva pomena ne izmišljaju se kao zasebne — skupljaju se u red „ostalo”, čiji se sadržaj u jednoj rečenici opiše.

Svaka tema dobija definiciju u jednoj rečenici: šta ulazi, a šta ne. Bez toga se pri drugom prolazu isti odgovor svrsta drugačije.

Kod obimnije građe, kao što su transkripti intervjua, isti postupak se vodi kroz više koraka i opisuje se u metodologiji: tematska analiza kvalitativne građe.

Šifarnik i provera doslednosti

Šifarnik je tabela sa tri kolone — naziv teme, definicija, tipičan primer odgovora. Pravi se posle prvog kodiranja, a ne pre, i zatim se celi materijal kodira ponovo po njemu. Drugi prolaz uvek premesti deo odgovora; to je normalno i zato se radi.

Provera doslednosti za studentski rad ne mora biti statistička. Dovoljne su dve jednostavne varijante:

• Ponovljeno kodiranje. Ostavi materijal nekoliko dana, pa ponovo kodiraj dvadesetak nasumičnih odgovora bez gledanja u prvi prolaz. Uporedi. Ako se razlikuje više od desetak procenata, definicije tema su preširoke.
• Drugi kodera. Daj kolegi šifarnik i tih dvadeset odgovora. Odgovori koje svrsta drugačije pokazuju gde definicija curi.

U radu se navede da je provera rađena, na koliko odgovora i šta je iz nje proizašlo. Ako su kategorije posle toga menjane, to se kaže. Kad je materijala mnogo i kad su tekstovi duži od rečenice ili dve, postupak prelazi u zaseban metod sa strožim pravilima: analiza sadržaja kao metod.

Kako se nalaz piše

Struktura koja radi za svaku temu: ime teme — broj odgovora — šta tema obuhvata — jedan doslovan odgovor kao ilustracija.

Odgovori na pitanje šta bi najviše popravilo njihovo zadovoljstvo poslom svrstani su u šest tema. Najviše pomena odnosi se na visinu i strukturu primanja (31 od 74 odgovora) i na nepredvidiv raspored zadataka (18). Ispitanici u drugoj temi ne govore o obimu posla nego o tome što se zaduženja menjaju bez najave: „Ne smeta mi obim posla, smeta mi što se svakog jutra menja ko šta radi.”

Citat se bira zato što predstavlja temu, ne zato što je efektan. Uz citat ide oznaka ispitanika, a ne ime. Ako citat sadrži ime firme, kolege ili mesta, zamenjuje se oznakom u uglastim zagradama.

Tabela tema ide u rezultate; šifarnik i, ako ih ima malo, celi odgovori idu u prilog: prilozi u diplomskom radu.

Zašto se broj pomena ne pretvara u procenat

Zato što ispitanik koji nešto nije pomenuo nije rekao da mu to nije važno — nije bio pitan o tome. Zatvoreno pitanje nudi svima istu listu, pa se udeli mogu porediti. Otvoreno pitanje meri šta je nekome prvo palo na pamet, i tu tišina nije odgovor.

Pogrešno: 42 odsto zaposlenih smatra da je plata glavni problem.

Tačno: Visinu primanja pomenulo je 31 od 74 ispitanika koji su odgovorili na ovo pitanje.

Ako ti baš treba udeo, napiši ga uz jasan imenilac i uz rečenicu da se odnosi na pomene, ne na stavove. I ne radi statističke testove nad brojevima pomena — oni nisu merenje.

Kako se ceo taj deo uklapa u poglavlje rezultata, sa tabelama i redosledom izlaganja: kako se opisuju rezultati istraživanja.

Kad odgovori ne daju ništa

Dešava se: pitanje je bilo preširoko, odgovori su jednosložni, tema nema. To se ne krije i ne nadoknađuje izmišljanjem kategorija.

U rezultatima se napiše koliko je odgovora bilo, kakvi su bili i da materijal ne dozvoljava izvlačenje tema. U ograničenjima se doda zašto — formulacija pitanja, mesto na kraju dugog upitnika, priroda teme. Pošteno opisan neuspeh jednog pitanja komisiji je prihvatljiviji od šest kategorija sazidanih ni na čemu: ograničenja istraživanja.

Deset grešaka koje se vide na prvi pogled

• Odgovori prepričani umesto kodirani i prebrojani
• Kategorije napravljene pre čitanja celog materijala
• Kodovi koji su rečenice, pa ih ima koliko i odgovora
• Teme bez definicije, zbog čega drugi prolaz daje drugi raspored
• Nema podatka koliko ljudi je pitanje preskočilo
• Zbir pomena veći od broja odgovora bez objašnjenja
• Broj pomena prikazan kao procenat stavova
• Citati birani po efektnosti, ne po tome što predstavljaju temu
• Ime firme ili osobe ostavljeno u citatu
• Šifarnik koji nigde ne postoji, pa se postupak ne može ponoviti

Šta proveriti pre nego što napišeš prvi nalaz

1. Znam li tačno koliko je ljudi odgovorilo na svako otvoreno pitanje?
2. Jesam li pročitao sve odgovore pre nego što sam napravio prvu kategoriju?
3. Ima li svaka tema ime, definiciju i tipičan primer?
4. Je li materijal kodiran drugi put, po šifarniku?
5. Da li se zbir pomena i broj odgovora slažu, ili je razlika objašnjena?
6. Predstavlja li svaki citat temu, i da li je anonimizovan?
7. Postoji li u tekstu ijedan procenat čiji imenilac nije jasan?
8. Nalazi li se šifarnik u prilogu rada?