Kriterijumi za uključivanje radova u pregled
Kako se pre pretrage napiše pravilo po kom izvor ulazi u pregled literature ili ispada: šest osa, dva prolaza kroz materijal i evidencija odbačenog.
Pretraga izbaci dvesta rezultata. Otvoriš prvih dvadeset, nekoliko ti se učini korisnim, ubaciš ih u folder i nastaviš. Za dve nedelje ne znaš zašto je jedan rad ušao, a drugi, vrlo sličan, nije.
Tu nastaje problem koji se na odbrani pretvori u pitanje: „Po čemu ste birali literaturu?” Odgovor „po tome šta sam našao” ne prolazi, a jedini način da se ne dogodi jeste da pravilo izbora postoji pre nego što kreneš da biraš.
Zašto se pravilo piše unapred
Kad kriterijuma nema, izbor radiš usput — i neizbežno ga radiš u svoju korist. Rad koji potvrđuje ono što očekuješ deluje relevantno. Rad koji ne potvrđuje deluje kao da nije baš o tvojoj temi. To se ne dešava zato što si nepošten, nego zato što ti je granica teme u glavi fleksibilna dok god nije zapisana.
Pravilo napisano unapred to zatvara. Kad je kriterijum na papiru, rad koji ti se ne dopada ili ulazi ili ne ulazi po istom merilu kao svaki drugi. Time dobijaš tri stvari odjednom: pregled koji nije pristrasan, odgovor na pitanje komisije, i — praktično najvrednije — mogućnost da prestaneš da tražiš, jer znaš šta tražiš.
Pravilo nije nepromenljivo. Sme da se koriguje ako se u prvim danima pretrage pokaže da je preusko ili preširoko. Ono što se ne sme jeste menjati ga pred kraj, kad već znaš koji radovi bi ispali.
Šest osa po kojima se pravilo postavlja
Kriterijum je uvek konkretan i proverljiv na osnovu samog rada. „Kvalitetni radovi” nije kriterijum. Ovih šest osa pokriva skoro sve.
| Osa | Primer odluke | Zašto je postavljaš |
|---|---|---|
| Tema i pojam | Samo radovi koji mere isti pojam, ne srodan | Da poređenje uopšte ima smisla |
| Populacija | Studenti osnovnih studija, ne zaposleni | Da se nalaz može preneti na tvoj uzorak |
| Period | Objavljeno u poslednjih deset godina | Da stanje bude aktuelno, uz izuzetak za temeljne radove |
| Tip rada | Empirijska istraživanja, ne osvrti i komentari | Da imaš podatke, a ne tuđa mišljenja |
| Jezik | Srpski i engleski | Da možeš da pročitaš rad u celini |
| Dostupnost | Pun tekst dostupan | Da ne citiraš ono što nisi video |
Poslednje dve su ograničenja iz nužde, ne vrline, i tako se i pišu u radu. Ako si izostavio literaturu na jeziku koji ne čitaš, to je ograničenje pregleda i navodi se kao takvo. Pre nego što rad odbaciš zato što nema punog teksta, proveri da li do njega ima drugog puta — koji su studentu otvoreni, nabraja baze naučnih radova.
Dve stvari se često ubace među kriterijume, a tu ne pripadaju. Prva je ugled izvora: „radovi iz priznatih časopisa” zvuči kao merilo, ali se ne može proveriti bez dodatne odluke o tome šta je priznato. Ako ti je stalo da izvor bude recenziran, tako se i piše — recenziran rad — jer je to podatak koji na samom radu stoji. Druga je nalaz: kriterijum nikada ne sme da se tiče toga šta je rad našao. Uslov tipa „radovi koji potvrđuju vezu” pravi pregled u kom je zaključak ugrađen u izbor.
Period zaslužuje posebnu napomenu. Granica godina služi da isključi zastarele nalaze, ali skoro svaka tema ima nekoliko starijih radova koji su je definisali. Njih ne izbacuješ mehanički — u pravilo se doda rečenica da stariji radovi ulaze ako uvode pojam ili instrument koji koristiš.
Uključenje i isključenje nisu ista lista
Ovo je razlika koju većina preskoči, a ona menja koliko brzo radiš.
Kriterijum uključenja opisuje rad koji tražiš. Svi moraju biti ispunjeni da bi rad ušao.
Kriterijum isključenja opisuje rad koji izbacuješ čak i kad ispunjava uslove uključenja. Dovoljan je jedan da rad ispadne.
Primer razlike: uključenje je „empirijsko istraživanje na studentskoj populaciji, objavljeno posle 2015”. Isključenje je „rad bez opisane metodologije” ili „rad koji izveštava isto istraživanje kao već uključen rad”. Drugi nije suprotnost prvom — pokriva slučajeve koji formalno prolaze, a ne treba da uđu.
Praktična korist je u redosledu rada. Isključenja proveravaš prva, jer jednim pogledom izbacuju ceo niz rezultata.
Kako se pravilo primenjuje
U dva prolaza, i to se ne preskače.
Prvi prolaz: naslov i sažetak. Svaki rezultat pretrage dobija odluku „dalje” ili „ne”. Nema čitanja punog teksta, nema skidanja. Ovaj prolaz odbacuje najveći deo materijala i traje kratko po radu.
Drugi prolaz: pun tekst. Ono što je prošlo prvi prolaz otvaraš i proveravaš po svim kriterijumima. Sada se vidi ono što sažetak nije rekao — koji je zapravo uzorak, da li je nacrt ono što piše u naslovu, da li je ishod meren onako kako ti treba.
Deo radova će ispasti tek u drugom prolazu, i to je normalno. Sažeci su pisani da privuku čitaoca, a ne da ti olakšaju filtriranje.
Ako se u toku prvog prolaza uhvatiš da za isti tip rada donosiš različite odluke, stani. To znači da kriterijum nije dovoljno precizan, a ne da su radovi granični. Dopiši ga i vrati se na početak liste.
Granični slučajevi se rešavaju jednom odlukom, a ne svaki put iznova. Ako naiđeš na rad koji kriterijum ne pokriva — recimo, uzorak je delom studentski a delom nije — dopiši u pravilo kako se takav slučaj tretira, pa ga primeni na sve. Isto važi za rad koji se pojavljuje dvaput, u konferencijskoj i u časopisnoj verziji: ulazi jedna, po pravilu potpunija, a odluka se zapiše.
Šire od ovog koraka — kako se pretraga uopšte sastavlja, po kojim bazama ide i kako se vodi evidencija nađenog — pokriva sistematsko prikupljanje literature.
Šta se beleži dok odbacuješ
Jedan red po odbačenom radu, sa razlogom. Tri kolone su dovoljne: izvor, u kom prolazu je ispao, koji kriterijum ga je izbacio.
Zvuči kao suvišan posao dok ga ne zatreba. Zatreba u tri situacije:
- Mentor pita zašto konkretan rad nije uključen, a ti ga se sećaš samo maglovito.
- Kasnije odlučiš da proširiš period ili populaciju, pa ti treba spisak onoga što je ispalo baš po tom kriterijumu — umesto da ponavljaš celu pretragu.
- Pišeš metodološki deo pregleda i treba ti broj: koliko je rezultata pretraga dala, koliko je prošlo prvi prolaz, koliko je na kraju ušlo.
Ta tri broja su jedini deo evidencije koji stvarno ide u rad.
Kako se to piše u radu
Kriterijumi ne dobijaju poglavlje. Dobijaju pasus, na početku pregleda literature ili u metodološkom delu, u zavisnosti od toga kako je rad složen.
U pregled su uključena empirijska istraživanja objavljena od 2015. godine naovamo, na srpskom ili engleskom jeziku, sprovedena na studentskoj populaciji i sa merenim ishodom uporedivim sa instrumentom korišćenim u ovom radu. Izostavljeni su radovi bez opisane metodologije i radovi dostupni samo u sažetku. Stariji radovi uključeni su izuzetno, kada uvode pojam ili instrument o kom je reč.
Uz to, jedna rečenica sa brojevima: koliko je rezultata pregledano i koliko radova čini osnovu pregleda. Time je pitanje „po čemu ste birali” odgovoreno pre nego što je postavljeno.
Ono što u radu ne stoji jeste spisak odbačenih radova. On ostaje kod tebe, za slučaj da zatreba.
Kako se od tog skupa pravi tekst koji sintetiše umesto da prepričava rad po rad, objašnjava kako se piše pregled literature.
Najčešće greške
- Kriterijum napisan posle izbora, da opravda ono što je već uključeno
- „Relevantni i kvalitetni radovi” kao kriterijum — ne može se proveriti ni na jednom radu
- Period postavljen mehanički, pa temeljni rad na temi ispao zbog godine
- Uključenje i isključenje pobrkani, pa se ista stvar proverava dvaput
- Pun tekst nikad otvoren, a rad uključen na osnovu sažetka
- Nijedan odbačen rad nije zabeležen, pa se odluka ne može rekonstruisati
- Kriterijum menjan usput bez traga, pa pregled nije ponovljiv