Operacionalizacija pojmova u istraživanju

Operacionalizacija je prevođenje apstraktnog pojma u nešto što se može izmeriti, prebrojati ili zabeležiti. Bez nje hipoteza ostaje rečenica koja se ne može proveriti: „digitalna pismenost nastavnika utiče na upotrebu digitalnih alata u nastavi” zvuči kao tvrdnja, ali dok se ne kaže šta se tačno smatra digitalnom pismenošću i kako se ona utvrđuje, ničim se ne može ni potvrditi ni odbaciti.

Postupak ima četiri koraka. Definiše se pojam — jednom rečenicom, po nekom izvoru. Razloži se na dimenzije — na delove koji se međusobno razlikuju. Za svaku dimenziju odrede se indikatori — vidljivi znaci po kojima se ona prepoznaje. Za svaki indikator napiše se stavka — konkretno pitanje u upitniku, ili pravilo po kom se podatak očitava iz dokumenta ili baze.

Ono što se često ne kaže: operacionalizacija je odluka, ne otkriće. Ne postoji jedan ispravan način da se izmeri digitalna pismenost. Postoji onaj koji si izabrao, obrazložio i primenio dosledno — i za koji si spreman da na odbrani kažeš šta obuhvata, a šta ne.

Primer koji se vodi kroz ceo tekst

Rad istražuje digitalnu pismenost nastavnika osnovnih škola i njenu vezu sa učestalošću upotrebe digitalnih alata u nastavi. Brojevi koji se dalje pojavljuju su ilustracija zamišljenog istraživanja, ne podaci iz stvarne studije.

Razgraničenje: pojam, dimenzija, indikator, stavka

Četiri nivoa koja se u radovima najčešće pomešaju.

Pojam (konstrukt) je ono što istražuješ, a ne može se videti neposredno: digitalna pismenost, zadovoljstvo poslom, poverenje u instituciju, motivacija. Zajedničko im je da postoje samo kroz svoje ispoljavanje.

Dimenzija je deo pojma koji se razlikuje od ostalih delova. Digitalna pismenost nije jedna stvar: neko ume da koristi uređaj, a ne ume da proceni verodostojnost izvora. Razlaganje na dimenzije je korak koji se najčešće preskoči, i zbog toga nastaju upitnici u kojima deset pitanja meri istu stvar, a tri dimenzije ostanu neizmerene.

Indikator je vidljiv znak te dimenzije — nešto što se može zapaziti kod ispitanika ili u podacima. Za dimenziju „procena izvora” indikator može biti provera autorstva pre korišćenja materijala u nastavi.

Stavka je konkretan oblik u kom indikator dolazi do podatka: pitanje sa ponuđenim odgovorima, tvrdnja na skali, polje u bazi, kategorija u šifarniku.

Ako se pojam nikako ne da razložiti na dimenzije koje se mogu izmeriti, problem obično nije u operacionalizaciji nego u tome što je tema preširoka: kako se sužava tema diplomskog rada.

Greška koja se najčešće vidi je preskakanje dva srednja nivoa: iz pojma se odmah ide u pitanje. Rezultat je upitnik u kom pitanja ne pokrivaju pojam ravnomerno, a u diskusiji nema šta da se kaže osim opšte ocene.

Kako se pojam razlaže na dimenzije

Dimenzije se ne izmišljaju. Izvode se iz tri izvora, tim redom.

Iz literature. Ako u oblasti postoji uhodana podela, uzima se ona i navodi odakle je. To je najjači izbor, jer se nalazi mogu porediti sa ranijim istraživanjima.

Iz definicije koju si usvojio. Ako si pojam definisao u teorijskom delu, dimenzije moraju da slede iz te definicije. Definicija koja pominje tri sposobnosti, a operacionalizacija koja meri jednu, je unutrašnja protivrečnost rada.

Iz konteksta istraživanja. Ako se istraživanje odvija u posebnim uslovima, neka dimenzija može otpasti ili se dodati — uz obrazloženje.

U primeru usvajamo tri dimenzije: rad sa alatima, pronalaženje i procena informacija i bezbednost podataka i digitalni identitet. Svaka dobija svoja pitanja, i to je razlog zašto se posle može reći nešto preciznije od „nastavnici su prosečno digitalno pismeni”.

Kako se bira indikator

Indikator mora da ispuni tri uslova. Ako ijedan ne stoji, traži se drugi.

Vidljiv je ili se može zabeležiti. „Razume značaj bezbednosti podataka” se ne vidi. „Menja lozinku za školski nalog” se vidi.

Odnosi se na jednu dimenziju. Indikator koji istovremeno pripada dvema pravi zbrku u obradi i onemogućava da se kaže gde je slabost.

Realno je dostupan. Najbolji indikator digitalne pismenosti bio bi praktičan test, ali on traži uslove koje diplomski rad retko ima. Tada se prelazi na samoprocenu — uz jasno rečeno da je to samoprocena, ne merenje sposobnosti.

Ta poslednja stavka je u studentskim radovima pravilo, ne izuzetak, i nije mana dok se ne prećuti. Šta se iz samoprocene sme tvrditi, a šta ne, spada u pitanje validnosti: pouzdanost i validnost.

Tabela operacionalizacije

Ovo je oblik u kom operacionalizacija ulazi u rad. Tabela stoji u metodologiji i pokazuje ceo put od pojma do pitanja, plus način obrade.

Tabela odmah otkriva neravnotežu: ako jedna dimenzija ima devet pitanja a druga dva, ukupan rezultat je zapravo mera prve dimenzije. Zato se ravnoteža proverava pre slanja upitnika, a ne posle obrade.

Iz iste tabele se vidi i koja stavka pripada kojoj hipotezi, pa se u poglavlju rezultata ide redom hipoteza, ne redom pitanja. Kako se hipoteza postavlja tako da uopšte može da se testira: hipoteze u diplomskom radu. Kako se od stavki pravi upotrebljiv instrument: kako se pravi upitnik.

Operacionalizacija i varijable

Operacionalizovan pojam postaje varijabla — nešto što ima vrednosti koje se razlikuju među ispitanicima. Uz svaku varijablu ide i nivo merenja, jer on određuje šta se s podacima sme raditi.

• Nominalna — kategorije bez redosleda (predmet koji nastavnik predaje)
• Ordinalna — kategorije sa redosledom, ali bez jednakih razmaka (nivo obrazovanja, rangirani odgovor)
• Intervalna i racio — brojčane vrednosti nad kojima se računaju proseci (godine staža, broj časova nedeljno)

Skale slaganja od 1 do 5 su poseban slučaj oko kog se u literaturi ne slažu svi: strogo uzev su ordinalne, ali se u praksi često obrađuju kao brojčane kad se više stavki spaja u jednu meru. Ako to radiš, reci da to radiš — to je odluka koja se brani, a ne previd. Koja se uloga varijabli razlikuje u hipotezi: varijable u istraživanju.

Kako se to piše u radu

Operacionalizacija se opisuje u metodologiji, pre opisa instrumenta, i sadrži četiri stvari: definiciju pojma sa izvorom, dimenzije sa obrazloženjem, način merenja svake dimenzije i granice — šta izabrana mera ne obuhvata.

Slabo: Digitalna pismenost je merena upitnikom koji je sastavljen za potrebe ovog istraživanja.

Ne kaže se šta je mereno, ni kako se došlo do pitanja.

Jako: Digitalna pismenost je u radu definisana kao sposobnost korišćenja digitalnih alata, pronalaženja i procene informacija i bezbednog postupanja sa podacima, prema podeli navedenoj u poglavlju 2.2. Svaka od tri dimenzije merena je sa po četiri do pet tvrdnji na skali slaganja od 1 do 5, pri čemu je rezultat po dimenziji izračunat kao prosek pripadajućih stavki. Merenje se zasniva na samoproceni nastavnika, pa dobijene vrednosti pokazuju kako nastavnici procenjuju sopstvene sposobnosti, a ne rezultat praktične provere.

Poslednja rečenica je ono što odvaja rad koji zna šta je izmerio od rada koji to ne zna. Ona kasnije ide i među ograničenja: ograničenja istraživanja.

Najčešće greške

• Pojam nigde nije definisan, a ceo rad se na njega poziva
• Preskočene dimenzije — iz pojma se ide pravo u pitanja
• Dimenzije nabrojane u teoriji, a upitnik meri samo jednu
• Neravnomeran broj stavki po dimenzijama, pa ukupan rezultat meri onu najzastupljeniju
• Jedna stavka meri dve stvari odjednom („Koristim digitalne alate i obučavam kolege”)
• Samoprocena predstavljena kao merenje sposobnosti
• Nivo merenja nije naveden, pa se iz nominalnih podataka računaju proseci
• Tabela operacionalizacije izostavljena, pa se veza pitanja i hipoteza ne vidi

Provera pre nego što upitnik ode ispitanicima

1. Postoji li u radu definicija svakog pojma iz hipoteza, sa izvorom?
2. Da li svaka dimenzija iz definicije ima bar jednu stavku u upitniku?
3. Meri li svaka stavka tačno jednu stvar?
4. Zna li se za svaku stavku kojoj dimenziji i kojoj hipotezi pripada?
5. Je li broj stavki po dimenzijama približno uravnotežen?
6. Naveden je nivo merenja za svaku varijablu i odgovara li mu planirana obrada?
7. Može li se u jednoj rečenici reći šta izabrana mera ne obuhvata?

Podela na dimenzije i način merenja razlikuju se po oblastima i katedrama; ono što je na jednoj katedri standard, na drugoj se ne koristi. Pre nego što usvojiš podelu, proveri da li mentor ima onu koju očekuje da vidi.