Ponovljena merenja na istim ispitanicima

Trideset zaposlenih popuni upitnik pre obuke i isti upitnik mesec dana kasnije. U tabeli stoji šezdeset popunjenih upitnika, i odatle kreće greška koja se ponovi u svakom drugom radu ovog tipa: šezdeset upitnika se obradi kao dve grupe od po trideset ljudi.

Nije šezdeset ljudi. Trideset je, svaki dvaput. Ta razlika nije formalnost — ona menja i obradu i ono što nalaz uopšte sme da tvrdi.

Ovaj tekst je o nacrtu, ne o testu. Koji se postupak na kraju pokreće zavisi od podataka; šta si od početka postavio, zavisi od tebe.

Šta razlikuje ponovljeno merenje od dve grupe

Kod dve nezavisne grupe, svaka izmerena vrednost dolazi od drugog čoveka. Razlika koju vidiš meša dve stvari: efekat onoga što ispituješ i to što su ljudi u jednoj grupi prosto različiti od ljudi u drugoj.

Kod ponovljenog merenja ista osoba je sama sebi poređenje. Ona nosi svoje godine, svoje obrazovanje, svoj karakter i svoju sklonost da zaokružuje više ili niže brojeve — i sve to nosi u oba merenja. Kad se od drugog merenja oduzme prvo, sve što je kod te osobe ostalo isto se poništi.

Praktična posledica: nacrt sa ponovljenim merenjem prepoznaje promenu na osetno manjem broju ljudi nego što bi trebalo za poređenje dve odvojene grupe. Pojedinačne razlike među ljudima, koje su inače najveći izvor šuma, više ne smetaju.

Zato se podaci ne smeju razbiti na dve nezavisne kolone. Veza između prvog i drugog merenja jeste informacija, i obrada koja tretira merenja kao nepovezana tu informaciju baca.

Tri oblika koja se sreću u diplomskom radu

Pre i posle. Jedno merenje pre nečega, jedno posle. Obuka, program, kampanja, izmena procedure. Najčešći oblik i najjednostavniji za izvođenje.

Više tačaka u vremenu. Isti ispitanici mereni tri i više puta — na primer pre, odmah posle i tri meseca kasnije. Odgovara na pitanje da li se promena održala, što je pitanje koje komisija rado postavi.

Isti ljudi u više uslova. Svaki ispitanik prođe kroz sve varijante onoga što se ispituje — pročita oba teksta, proba oba rasporeda, oceni obe verzije. Ovde nema vremena kao teme; ima poređenja uslova.

Postoji i četvrti slučaj koji se lako propusti: praćenje iste generacije kroz duži period, bez ikakvog tretmana između merenja. To više nije pitanje efekta nego pitanje toka u vremenu, i o razlici između preseka i praćenja piše longitudinalno i transverzalno istraživanje.

Sva tri prethodna oblika se razlikuju od nacrta u kom jedna grupa dobija tretman a druga ne; taj slučaj pokriva kontrolna i eksperimentalna grupa. U praksi se ta dva često spajaju: dve grupe, obe merene dvaput.

Šta ovaj nacrt kvari

Ušteda na broju ispitanika se plaća. Četiri stvari koje se moraju uzeti u obzir, jer se na odbrani pitaju.

Osipanje. Deo ljudi neće se pojaviti na drugom merenju. Ako je to deo koji sistematski odudara — recimo, oni kojima se obuka nije dopala — drugo merenje je bolje ne zato što je nešto delovalo, nego zato što su nezadovoljni otpali. Broj onih koji su otpali i procena toga ko su navode se obavezno.

Efekat samog merenja. Ko je jednom popunio test, drugi put ga popunjava lakše. Poboljšanje može doći od vežbe, a ne od onoga što ispituješ.

Redosled i prenos. Kod poređenja uslova, ono što je bilo prvo utiče na ono što sledi. Rešenje je da polovina ispitanika ide jednim redosledom, a polovina drugim, pa se efekat redosleda ne slepi sa efektom uslova.

Sve ostalo što se u međuvremenu desilo. Bez grupe koja nije dobila ništa, ne možeš razdvojiti efekat tretmana od svega drugog što se dešavalo između dva merenja. Zbog toga sam nacrt pre i posle, bez kontrolne grupe, ne nosi tvrdnju o uzroku — o tome šta bi za to bilo potrebno piše eksperimentalni nacrt.

Kako se podaci pripremaju

Ovo je mesto gde se greška najčešće ugradi, i to pre svake obrade.

Tabela ima jedan red po ispitaniku i po jednu kolonu za svako merenje. Ne dva reda po čoveku sa kolonom „merenje 1 ili 2”. Ako ne možeš da spojiš prvo i drugo merenje iste osobe, ceo nacrt si izgubio i ostaje ti poređenje dve nepovezane grupe, na mnogo lošijim osnovama.

Odatle sledi i jedina stvar koja se mora smisliti pre prvog merenja: kako ćeš povezati dva upitnika iste osobe, a da anketa ostane anonimna. Uobičajeno rešenje je šifra koju ispitanik sam sastavi po fiksnom pravilu — prva dva slova imena majke, dan rođenja, i slično — pa je isto napravi i drugi put. Pravilo mora biti kratko, jednoznačno i takvo da se isto ponovi za mesec dana.

Iz spojene tabele se onda računa razlika po ispitaniku, i ta kolona razlika je ono što se zapravo obrađuje. Kolone se imenuju tako da se iz naziva vidi i šta je mereno i u kojoj tački, jer se posle mesec dana ne pamti koja je kolona bila prva.

Šta se gleda pre obrade

Pošto se poredi promena unutar osobe, provere se ne odnose na svako merenje posebno nego na kolonu razlika. Nju gledaš kao bilo koju drugu veličinu: kako je raspoređena, ima li ekstremnih vrednosti, da li je nekoliko ljudi napravilo ogroman skok dok se kod većine ništa nije pomerilo.

Ako razlike izgledaju uredno, primenjuje se postupak za dva merenja na istim ispitanicima. Ako izrazito odstupaju ili je uzorak vrlo mali, koristi se postupak koji radi sa rangovima razlika. Kod tri i više merenja postoje odgovarajući postupci za tu situaciju, a uz njih i naknadna poređenja između pojedinih tačaka merenja.

U rezultatima se navode prosek ili medijana u svakoj tački merenja, broj ispitanika koji su ušli u poređenje — dakle onih sa oba merenja, ne ukupan broj — i podatak o veličini promene. Značajnost sama po sebi ne kaže koliko se promenilo.

Kako se nacrt opisuje u radu

Nacrt se imenuje u metodologiji, pre opisa instrumenta, i sadrži četiri podatka: koliko merenja, na kome, u kom razmaku i šta se između njih dogodilo.

Istraživanje je sprovedeno na uzorku od 34 zaposlena, koji su isti upitnik popunili dva puta: neposredno pre početka obuke i mesec dana po njenom završetku. Upitnici su povezani šifrom koju je ispitanik sam sastavio, čime je sačuvana anonimnost. Oba merenja završilo je 29 ispitanika; petoro nije popunilo drugi upitnik.

Rečenica o osipanju nije priznanje slabosti nego deo opisa postupka — kako se on piše i šta sve mora da sadrži, u tekstu opis postupka istraživanja.

U zaključku se onda pazi na formulaciju. Nalaz iz ovog nacrta glasi „skor se posle obuke povećao”, a ne „obuka je povećala skor”, osim ako nisi imao i grupu koja obuku nije prošla. Razlika je jedna reč i cela tvrdnja.

Najčešće greške

• Dva merenja obrađena kao dve nezavisne grupe
• Tabela složena sa dva reda po ispitaniku, bez načina da se spoje
• Šifra za povezivanje smišljena tek posle prvog merenja
• Broj ispitanika prijavljen kao zbir oba merenja
• Osipanje prećutano, pa se ne vidi ko je otpao
• Tvrdnja o uzroku iz nacrta bez kontrolne grupe
• Redosled uslova isti za sve ispitanike, bez podele na dva redosleda
• Provere urađene na svakom merenju posebno umesto na razlikama