Šta ide u metod, a šta u rezultate

Dva poglavlja stoje jedno do drugog i opisuju isto istraživanje. Zato se i mešaju: u metodologiji se nađe tabela sa rezultatima, u rezultatima pola strane o tome kako je anketa deljena, a ista rečenica se pojavi na oba mesta u malo drugačijem obliku.

Ovaj tekst nije uputstvo za pisanje nijednog od njih — za to postoje kako se piše metodološki deo i kako se opisuju rezultati. Ovde je samo granica: kako se za bilo koju rečenicu odluči na koju stranu ide.

Jedno pitanje koje razdvaja poglavlja

Za svaku rečenicu postavi jedno pitanje: da li bi ona bila istinita i da nisi prikupio nijedan podatak?

Ako bi bila — ide u metod. To je plan, opis instrumenta, opis postupka. Sve to postoji pre nego što je prvi upitnik popunjen.

Ako ne bi — ide u rezultate. To je nalaz, i postoji tek posle prikupljanja.

Nekoliko primera kroz taj test:

• „Upitnik sadrži osam tvrdnji sa odgovorima na petostepenoj skali.” Istinito i bez ijednog ispitanika → metod.
• „Prosečan skor iznosi 3,8.” Bez podataka ne postoji → rezultati.
• „Anketa je deljena elektronski, u periodu od marta do maja.” → metod.
• „Od 180 pozvanih, upitnik je popunilo 142.” → rezultati.
• „Razlika je proverena testom koji poredi proseke dve nezavisne grupe.” → metod.
• „Razlika je statistički značajna.” → rezultati.

Poslednja dva para pokazuju obrazac koji rešava većinu slučajeva: koji test je korišćen i zašto — metod; šta je test pokazao — rezultati.

Test ne radi u jednom slučaju, i dobro je znati kom: kad rečenica opisuje nešto što se dogodilo tokom prikupljanja, a nije nalaz — recimo da je deo upitnika deljen u štampanom obliku zato što ustanova nije imala uslove za elektronski. To nije bio plan, pa nije čist metod; nije ni nalaz o istraživačkom pitanju. Takve rečenice idu u metod, u opis postupka, jer objašnjavaju kako su podaci nastali. Šire pravilo koje pokriva i njih glasi: u metodu je sve što odgovara na pitanje kako su podaci dobijeni, u rezultatima sve što odgovara na pitanje šta su pokazali.

Sporni slučajevi, na jednom mestu

Ovih deset pokriva skoro sve nedoumice koje se javljaju.

Obrazac se ponavlja u svakom paru: gore je pravilo, dole je ono što se po tom pravilu dogodilo.

Broj ispitanika: i jedno i drugo, ali ne isti broj

Ovo je najčešće mesto na kom se dva poglavlja prepišu jedno od drugog.

U metodu stoji kako je uzorak određen: koga si ciljao, po kom kriterijumu, na koji način biran i koliko si ih planirao. To je nacrt.

U rezultatima stoji ko je zaista odgovorio: koliko upitnika je stiglo, koliko ih je isključeno i po kom pravilu, kakav je sastav konačnog uzorka.

Praktično to znači da se opis uzorka po polu, godinama i stažu — sa tabelom učestalosti — nalazi u rezultatima, na njihovom početku, a ne u metodologiji. Metodologija ne može da zna kako je uzorak ispao.

Praktična provera: pokrij poglavlje sa rezultatima rukom i pročitaj metodologiju. Ako iz nje ne možeš da kažeš koliko je ljudi odgovorilo — a ne bi trebalo da možeš — granica je na svom mestu.

Granični slučaj koji zbunjuje: fakulteti se razlikuju po tome traže li da opis ostvarenog uzorka stoji u metodologiji. Ako tvoj šablon to traži, poštuje se šablon — ali se onda isti podaci ne ponavljaju u rezultatima. Jedan podatak, jedno mesto, bez obzira koje.

Instrument i njegova pouzdanost

Drugo mesto koje redovno završi na pogrešnoj strani.

Opis instrumenta ide u metod: koliko delova ima, šta koji meri, kakve su skale, odakle je preuzet i da li je prilagođavan.

Pouzdanost izmerena na tvojim podacima je nalaz i ide u rezultate. Ona ne postoji dok nisi prikupio odgovore.

Pouzdanost koju su prijavili autori instrumenta je nešto treće — to je podatak o instrumentu, dolazi iz literature i ide u metod, uz navod izvora.

Razlika se vidi i po jednostavnijem merilu: šta bi bilo da si isti instrument primenio na drugoj grupi ljudi. Opis instrumenta bi ostao isti; izmerena pouzdanost bi bila druga. Sve što bi se sa drugim ispitanicima promenilo jeste nalaz i pripada rezultatima.

Ista logika važi i za probu instrumenta. Da je proba sprovedena, na kome i kako — metod. Šta je iz nje proizašlo i šta je zbog toga izmenjeno — takođe metod, jer se to dogodilo pre glavnog prikupljanja i objašnjava konačan oblik instrumenta. Ovo je jedini deo u kom nalaz legitimno stoji u metodologiji, i to zato što nije nalaz o tvom istraživačkom pitanju.

Provere pred test

Provere koje se rade pre statističkog testa — oblik raspodele, rasipanje po grupama — takođe se dele na dve strane, i to je granica koja se skoro uvek promaši.

Da su provere rađene i koje — metod. To je deo plana obrade.

Šta su pokazale na tvojim podacima — rezultati. To je nalaz, i od njega zavisi koji je test primenjen.

U praksi se to piše kao dve do tri rečenice pred sam prikaz nalaza, u poglavlju sa rezultatima. Kako se od ispisa programa dolazi do takve rečenice i šta se iz njega ne prepisuje, pokriva kako se rezultat statističkog testa piše u tekstu.

Kako se prepoznaje da si prešao granicu

Četiri znaka, i svaki se vidi bez ičijeg čitanja.

U metodologiji stoji broj koji nisi mogao znati unapred. Bilo koji broj koji dolazi iz prikupljenih podataka — koliko je ljudi odgovorilo, kolika je pouzdanost, koliki je prosek — znak je da je nalaz odlutao u pogrešno poglavlje.

U rezultatima objašnjavaš zašto si nešto uradio. Rečenice tipa „pošto je uzorak mali, izabran je test koji…” su obrazloženje postupka. Obrazloženje ide u metod; u rezultatima stoji samo šta je urađeno i šta je izašlo.

Ista rečenica postoji na oba mesta. Ako se opis uzorka ili opis instrumenta ponavlja, jedno od dva je višak. Briše se ono koje je na pogrešnoj strani granice.

U rezultatima se pojavljuje tumačenje. „Ovo pokazuje da su zaposleni nezadovoljni uslovima” nije rezultat nego diskusija. To je druga granica, ona sa desne strane — i o njoj govori poglavlje o opisu rezultata.

Peti znak se ne vidi u rečenicama nego u obimu. Ako je metodologija duža od rezultata, u njoj je skoro sigurno nešto što tamo ne pripada — najčešće opis ostvarenog uzorka sa tabelama ili prepričan ispis programa. Obrnuto ne važi: rezultati smeju biti duži i najčešće jesu.

Provera koja hvata sve četiri odjednom traje deset minuta: pročitaj metodologiju i podvuci svaki broj. Ako je neki od njih mogao da bude drugačiji u zavisnosti od toga ko ti je odgovorio, on nije tu gde treba.

Najčešće greške

• Opis ostvarenog uzorka u metodologiji, pa se isto ponavlja u rezultatima
• Pouzdanost izmerena na sopstvenim podacima upisana u metod
• Obrazloženje izbora testa napisano u rezultatima, uz sam nalaz
• Ishod provera pred test ostavljen u metodologiji, gde još ne postoji
• Broj popunjenih upitnika u metodu, iako je to podatak koji se nije mogao znati unapred
• Tumačenje nalaza u rezultatima, pa diskusija nema šta da doda
• Šablon fakulteta ignorisan, pa poglavlja ne prate raspored koji se očekuje