Pouzdanost i validnost: šta znače u diplomskom radu
Razlika između pouzdanosti i validnosti merenja, koje vrste postoje, šta se realno može proveriti u studentskom istraživanju i kako se to opisuje u radu.
Kratak odgovor
Pouzdanost znači da merenje daje dosledne rezultate; validnost znači da meri baš ono što tvrdiš da meri. Pouzdana mera može biti nevalidna — dosledno meriti pogrešnu stvar — dok nevalidna mera ne postaje dobra time što je dosledna. U studentskom radu se pouzdanost obično proverava brojčano, a validnost obrazlaže argumentom.
Pouzdanost i validnost su dva različita pitanja o istom merenju. Pouzdanost pita da li mera daje dosledne rezultate — da li bi isti ispitanik u sličnim uslovima dobio sličan rezultat, i da li stavke koje navodno mere istu stvar zaista idu zajedno. Validnost pita nešto teže: da li se meri baš ono što u radu tvrdiš da meriš.
Odnos između njih nije simetričan. Mera može biti pouzdana a nevalidna — dosledno meriti pogrešnu stvar. Skala koja od početka do kraja meri koliko su zaposleni zadovoljni platom biće savršeno dosledna, ali ako je u radu nazvana merom zadovoljstva poslom, nalaz se odnosi na nešto drugo nego što piše. Obrnuto ne važi: nepouzdana mera ne može biti validna, jer rezultat koji se rasipa ne može verno da predstavi ništa.
Praktična razlika za diplomski rad: pouzdanost se najčešće pokazuje brojem, validnost argumentom. Broj se dobija iz podataka; argument se gradi iz operacionalizacije, pa mora da postoji pre nego što se podaci prikupe: operacionalizacija pojmova.
Primer koji se vodi kroz ceo tekst
Rad meri zadovoljstvo poslom kod zaposlenih u IT sektoru skalom od jedanaest tvrdnji sa odgovorima od 1 do 5. Sve vrednosti koje se u nastavku pominju su ilustracija zamišljenog istraživanja, ne podaci iz stvarne studije.
Pouzdanost: tri oblika
Unutrašnja doslednost je oblik koji se u diplomskim radovima gotovo isključivo koristi. Pita da li jedanaest tvrdnji zaista mere istu stvar — da li ispitanik koji se slaže sa jednom teži da se slaže i sa ostalima. Najčešće se izražava Kronbahovim alfa koeficijentom, koji se u pravilu kreće između 0 i 1; kao konvencionalna granica prihvatljivosti često se navodi vrednost oko 0,70, uz napomenu da je to konvencija a ne pravilo, i da zavisi od broja stavki i namene merenja. Ako alfu navodiš, navedi je po skali ili dimenziji, ne za ceo upitnik — koeficijent za upitnik koji meri tri različite stvari nema značenje.
Stabilnost u vremenu (test–retest) pita da li bi isti ispitanik dobio sličan rezultat kroz nekoliko nedelja. Traži dva merenja na istim ljudima, što diplomski rad retko može da organizuje. Ako se ne radi, ne pominje se.
Slaganje ocenjivača je pouzdanost kad podatke ne daje ispitanik nego onaj ko kodira — kod analize sadržaja ili kodiranja intervjua. Tu se pouzdanost pokazuje time što isti materijal, kodiran dva puta ili od dvoje ljudi, daje iste kategorije: analiza sadržaja kao metod.
Dve stvari koje kvare pouzdanost, a mogu se sprečiti pre slanja upitnika: dvostruka pitanja (jedna stavka koja pita dve stvari) i obrnuto postavljene tvrdnje koje nisu prekodirane pre računanja. Druga je banalan tehnički previd koji ume da spusti koeficijent do besmisla.
Validnost: četiri vrste i koja ti zaista treba
Sadržinska validnost pita da li stavke pokrivaju pojam u celini. Ovo je jedina vrsta koju svaki diplomski rad može i mora da obrazloži, i ona se ne dokazuje brojem nego tabelom operacionalizacije: ako definicija zadovoljstva poslom ima četiri dimenzije, a skala meri jednu, sadržinske validnosti nema bez obzira na koeficijent.
Prividna validnost pita da li ispitaniku deluje da pitanje meri ono o čemu je reč. Najslabija je, ali ima praktičnu posledicu — pitanje koje ispitaniku deluje besmisleno dobija nasumične odgovore.
Kriterijumska validnost pita da li se rezultat slaže sa nekom drugom, nezavisnom merom iste stvari. U primeru bi to značilo poređenje skale sa podatkom o fluktuaciji zaposlenih. Retko izvodljivo u studentskom radu, jer traži drugi izvor podataka.
Konstruktna validnost pita da li se mera ponaša onako kako teorija predviđa — da li je povezana sa onim sa čim bi trebalo i nepovezana sa onim sa čim ne bi. Njena stroga provera traži postupke i uzorke koje diplomski rad po pravilu nema.
Zaključak koji vredi zapamtiti: u diplomskom radu se realno tvrdi sadržinska validnost, a pouzdanost pokazuje koeficijentom unutrašnje doslednosti. Ostalo se pominje samo ako je stvarno urađeno.
Šta se sme tvrditi, a šta ne
| Situacija | Šta se sme napisati | Šta se ne sme |
|---|---|---|
| Preuzeta, već korišćena skala | Da je instrument ranije korišćen, uz izvor, i kolika je pouzdanost u ovom uzorku | Da je „validiran”, ako to nije proveravano ovde |
| Sopstvena skala, izračunata alfa | Kolika je unutrašnja doslednost po dimenzijama | Da je skala „pouzdana i validna” |
| Samoprocena | Kako ispitanici procenjuju sopstveno stanje ili ponašanje | Da je izmereno stvarno ponašanje |
| Ništa nije proveravano | Da provera nije rađena i šta to znači za nalaze | Bilo kakvu tvrdnju o pouzdanosti |
Poslednji red je važniji nego što izgleda. Rad koji otvoreno kaže da pouzdanost nije proveravana stoji bolje od rada koji uz instrument stavi rečenicu „upitnik je pouzdan i validan” bez ijednog podatka — jer to je prva rečenica koju komisija proverava pitanjem „na osnovu čega?”.
Ako je skala preuzeta iz tuđeg istraživanja, uz nju ide izvor i podatak o tome da li je prevođena i prilagođavana. Prevedena skala nije ista skala, i to treba reći.
Šta se radi kad koeficijent ispadne nizak
Situacija koja se u studentskim radovima javlja često, a skoro nikad ne piše. Ako alfa za jednu dimenziju ispadne osetno niža od ostalih, postoje tri poštena postupka i jedan nepošten.
Proveri tehniku pre tumačenja. Neprekodirana obrnuta tvrdnja, pogrešno unet podatak ili stavka sa velikim brojem praznih odgovora spuštaju koeficijent iz razloga koji nemaju veze sa merenjem.
Pogledaj sadržaj stavki. Ako je u dimenziju ušla tvrdnja koja zapravo pita nešto drugo, to se vidi golim okom kad se stavke pročitaju jedna za drugom.
Izbaci stavku ako za to imaš razlog i reci da si je izbacio. Izbacivanje jedne tvrdnje uz obrazloženje je legitimno; izbacivanje tri dok se ne dobije željena vrednost nije, jer se time mera prilagođava podacima.
Nepošten postupak je prećutati nizak koeficijent ili navesti samo onaj najviši. Ako dimenzija ostaje u radu sa slabom doslednošću, to se kaže i nalaz koji se na nju oslanja dobija ogradu — upravo to komisija i očekuje da vidi.
Kako se to piše u radu
Ide u metodologiju, uz opis instrumenta, u tri do pet rečenica.
Slabo: Upitnik je pouzdan i validan, što je potvrđeno u prethodnim istraživanjima.
Ne kaže se ni u kojim, ni šta je potvrđeno, ni da li to važi za ovaj uzorak.
Jako: Skala zadovoljstva poslom sastavljena je od jedanaest tvrdnji raspoređenih u tri dimenzije opisane u poglavlju 2.3, čime je obezbeđeno da merenje pokrije pojam onako kako je u radu definisan. Unutrašnja doslednost proverena je Kronbahovim alfa koeficijentom, odvojeno po dimenzijama; dobijene vrednosti navedene su u tabeli 4. Tri obrnuto postavljene tvrdnje prekodirane su pre izračunavanja. Merenje se zasniva na samoproceni, pa rezultat pokazuje kako zaposleni procenjuju sopstveno zadovoljstvo, a ne neposredno izmereno stanje.
Druga verzija radi tri stvari: povezuje instrument sa definicijom, kaže šta je provereno i kako, i unapred imenuje granicu. Ta poslednja rečenica kasnije ide i među ograničenja: ograničenja istraživanja.
Kod kvalitativnog istraživanja
Pojmovi se ne prenose doslovno. Kod intervjua se ne meri doslednost skale nego se pokazuje da postupak nije proizvoljan, i to kroz četiri stvari.
Verodostojnost — da tumačenje odgovara onome što su sagovornici rekli. Pokazuje se citatima uz svaku tvrdnju i, gde je izvodljivo, proverom kod samih sagovornika.
Prenosivost — da čitalac može da proceni na koje druge situacije nalaz može da se odnosi. Pokazuje se detaljnim opisom konteksta i sagovornika.
Proverljivost postupka — da se iz rada vidi kako se od transkripta došlo do kategorija. Pokazuje se opisom kodiranja i prilogom sa šemom kodova.
Refleksivnost — da je istraživač rekao gde je i sam mogao da utiče na razgovor, posebno ako istražuje sredinu u kojoj je i sam učesnik.
Isto pitanje se u studiji slučaja rešava izborom i opisom slučaja: studija slučaja kao metod. Šta se za svako od ova četiri merila konkretno zapisuje dok istraživanje traje, i kako se to napiše u metodologiji: validnost kvalitativnog istraživanja.
Najčešće greške
- „Pouzdan i validan” bez ijednog podatka koji to potkrepljuje
- Jedan koeficijent za ceo upitnik koji meri više različitih stvari
- Pouzdanost predstavljena kao dokaz validnosti
- Obrnute tvrdnje neprekodirane pre računanja koeficijenta
- Preuzeta skala predstavljena kao validirana, iako je prevedena i skraćena
- Samoprocena predstavljena kao merenje ponašanja
- Pominjanje test–retest ili konstruktne validnosti koje nije sprovedeno
- Kvalitativni rad koji pominje pouzdanost skale, iako skale nema
Provera pre nego što instrument uđe u rad
- Da li stavke pokrivaju sve dimenzije pojma iz definicije?
- Meri li svaka stavka tačno jednu stvar?
- Ako je skala preuzeta — piše li odakle, i da li je menjana ili prevođena?
- Je li unutrašnja doslednost računata po dimenzijama, a ne za ceo upitnik?
- Jesu li obrnute tvrdnje prekodirane pre računanja?
- Može li se u jednoj rečenici reći šta mera obuhvata, a šta ne?
- Ako provera nije rađena — piše li to izričito, umesto tvrdnje bez potpore?
- Kod kvalitativnog dela: vidi li se iz rada kako se od iskaza došlo do kategorija?
Koliko se strogo traži provera pouzdanosti razlikuje se po katedrama i po tome da li je skala preuzeta ili sastavljena za rad. Pre nego što odlučiš šta ćeš računati, proveri šta mentor očekuje da vidi uz opis instrumenta; kako se pitanja u instrumentu uopšte sastavljaju: kako se pravi upitnik.