Meta-analiza — šta jeste i kada je sretneš
Šta meta-analiza pokušava, po čemu se razlikuje od pregleda literature, kako se čita zbirni nalaz i šta se na osnovu njega sme napisati u radu.
U pretrazi literature pre ili kasnije naiđeš na rad koji ne opisuje nijedno sopstveno merenje, a ipak daje broj. U metodologiji piše kako je pretraga rađena, koliko je radova pregledano i koliko ih je ušlo u obradu, pa sledi zbirna procena — jedan nalaz koji stoji umesto trideset različitih.
To je meta-analiza. Na diplomskom radu je skoro nikad ne radiš sam; skoro uvek je čitaš i pozivaš se na nju. Zato ovaj tekst nije uputstvo za izradu nego za čitanje: šta takav rad zapravo tvrdi i koliko je težak kao izvor.
Šta meta-analiza pokušava
Problem koji rešava izgleda ovako. Deset istraživanja se bavi istom vezom. Tri su našla razliku, pet nisu, dva su našla razliku u suprotnom smeru. Klasičan pregled literature to opiše rečima — „nalazi su nedosledni” — i tu stane.
Meta-analiza pokušava da ide dalje. Umesto da nabroji ko je šta našao, ona rezultate tih istraživanja prevodi u uporediv oblik i spaja ih u jednu procenu.
Reč koja nosi ceo postupak je uporediv. Studije skoro nikad ne mere istom skalom: jedna koristi upitnik sa pet stepeni, druga sa sedam, treća meri vreme u sekundama. Sirovi proseci iz tih radova ne mogu se sabrati. Zato se svaki rezultat prevodi u meru koja ne zavisi od skale — meru koja kaže koliko je razlika velika u odnosu na rasipanje u samim podacima. Kako se ta mera čita i zašto nije isto što i značajnost, opisuje veličina efekta.
Druga stvar koja se podrazumeva, a retko kaže naglas: studije ne ulaze u račun sa istom težinom. Istraživanje sa preciznijom procenom — po pravilu ono na većem uzorku — više utiče na zbirni nalaz od istraživanja sa vrlo neodređenom procenom. To je i razlog zbog kog zbirni rezultat ume da izgleda drugačije od prostog utiska „tri protiv pet”.
Po čemu se razlikuje od pregleda literature
Tri stvari se u razgovoru redovno mešaju, a razlikuju se po tome šta autor obećava.
| Šta je | Šta autor radi | Kako izgleda nalaz |
|---|---|---|
| Pregled literature | Bira i sintetiše radove po temama | Tekst: šta se zna, gde se izvori ne slažu, šta nedostaje |
| Sistematski pregled | Pretragu i izbor vodi po pravilu zapisanom unapred | Tekst, ali sa opisanim postupkom i brojem odbačenih radova |
| Meta-analiza | Sistematski pregled kom je dodat račun | Zbirna procena, obično sa prikazom pojedinačnih studija |
Svaka meta-analiza je i sistematski pregled; obrnuto ne važi. Ako rad nema opisan postupak pretrage i pravilo po kom su radovi birani, zbirni broj u njemu vredi manje nego što izgleda, jer se ne zna nad čim je računat.
To je i praktična razlika u odnosu na ono što se od tebe traži. Poglavlje o kom govori kako se piše pregled literature je sinteza, ne račun — i to je sasvim dovoljno za diplomski rad.
Kako nastaje zbirni nalaz
Redosled koraka je uvek isti i uvek se vidi u metodologiji takvog rada:
- Pitanje se postavi usko. Koja populacija, koje poređenje, koji ishod. Bez toga se ne zna šta se sme sabrati.
- Pravilo izbora se zapiše pre pretrage. Godine, jezik, tip nacrta, način merenja ishoda.
- Pretraga se radi po bazama i zapisuje se u celini — koji upiti, koje baze, kog datuma — tako da je drugi može ponoviti.
- Radovi se filtriraju u dva prolaza — prvo po naslovu i sažetku, pa po punom tekstu.
- Iz svakog preostalog rada se izvlače isti podaci: veličina uzorka, mera ishoda, procena efekta.
- Procene se spajaju, uz težine, u jedan nalaz sa svojom neizvesnošću.
U skoro svakoj meta-analizi postoji i prikaz na kom svaka uključena studija ima svoj red: naziv, veličina uzorka, procena efekta i raspon u kom se ta procena kreće. Na dnu stoji zbirni red. Taj prikaz vredi pogledati pre nego što pročitaš zaključak, jer se iz njega odjednom vidi koliko je studija ušlo, koliko su velike i da li zbirni nalaz stoji na nekoliko krupnih istraživanja ili na mnogo sitnih. Ako jedna studija po veličini nadmašuje sve ostale, zbirni nalaz je uglavnom njen nalaz.
Korak koji se najčešće prećuti pri čitanju je drugi. Zbirni nalaz uvek važi samo za skup radova koji je pravilo propustilo — a to pravilo je odluka autora, ne prirodna činjenica.
Kad se studije međusobno ne slažu
Ako svih deset studija meri istu stvar na sličan način, spajanje je pošteno. Ako mere različite stvari pod istim imenom, zbirni broj je prosek jabuka i krušaka.
Zato svaka ozbiljna meta-analiza proverava koliko se rezultati pojedinačnih studija razilaze više nego što bi se očekivalo samo zbog uzorkovanja. Kad je to razilaženje veliko, autori obično ne stanu na jednom broju nego traže odakle dolazi: da li se studije razlikuju po uzrastu ispitanika, po zemlji, po načinu merenja, po godini objavljivanja. Nalaz se onda prikazuje po podgrupama.
Za tebe kao čitaoca to znači jednu stvar: ako autori sami pišu da je razilaženje među studijama veliko, zbirni broj ne prepisuješ kao čvrstu činjenicu. Prepisuješ nalaz zajedno sa tom ogradom, jer je ograda deo nalaza.
Kako se ona koristi u tvom radu
Meta-analiza je u pregledu literature vredna iz prostog razloga: jedna rečenica iz nje pokriva ono što bi inače tražilo pet odvojenih navoda. Dobar način da se upotrebi je da postavi okvir, pa da pojedinačne studije dođu posle nje sa detaljem koji joj nedostaje.
Nekoliko praktičnih napomena:
Navodi se kao i svaki drugi rad, po stilu koji fakultet traži. Nema posebnog oblika jedinice zato što je reč o meta-analizi.
Citira se ona, ne studije u njoj. Ako ti treba konkretno istraživanje koje je u nju ušlo, nađi taj rad i pročitaj ga. Prepisivanje tuđeg navoda je sekundarno citiranje i ima svoja pravila.
Datum je bitniji nego obično. Meta-analiza starija deset godina ne obuhvata ono što je objavljeno posle nje, a upravo u tom periodu se nalaz mogao pomeriti.
Obrazac koji radi u pasusu izgleda ovako: zbirni nalaz postaviš kao opšti okvir, uz ogradu koju su autori sami naveli, pa odmah zatim dodaš jedno ili dva pojedinačna istraživanja bliska tvom kontekstu — istoj populaciji, istoj zemlji, istom načinu merenja. Meta-analiza daje širinu, pojedinačna studija daje blizinu, a tvoja rečenica posle njih kaže šta iz toga sledi za tvoje pitanje. Bez tog trećeg koraka pregled ostaje niz tuđih nalaza poređanih jedan za drugim.
Ne prepisuje se broj bez smera. „Utvrđen je efekat od 0,42” nikome ništa ne znači ako se ne kaže čega u odnosu na šta.
Šta meta-analiza ne rešava
Tri ograničenja koja autori ozbiljnih radova i sami navode u diskusiji.
Ne popravlja loše ulazne podatke. Ako su studije koje su ušle slabo urađene, zbirni nalaz je tačno tako slab — samo izgleda uverljivije zato što ima decimalu.
Ne vidi ono što nije objavljeno. Istraživanja koja ne nađu razliku ređe završe objavljena, pa objavljena literatura ume da bude pomerena u jednu stranu. Postoje postupci koji to pokušavaju da procene, ali nijedan ne vraća radove koji nikad nisu izašli.
Ne pravi uzrok od veze. Ako su ulazne studije posmatrale postojeće stanje bez ikakvog uticaja na njega, spajanje stotinu takvih studija i dalje daje vezu, a ne uzrok. Zašto je to tako, objašnjava korelacija i uzročnost.
Najčešće greške
- Zbirni broj prepisan bez ograde koju su autori sami napisali
- Meta-analiza nazvana pregledom literature ili obrnuto, pa se u radu tvrdi pogrešna vrsta dokaza
- Citirane studije iz nje, a čitana samo ona
- Zanemaren datum, pa nalaz star deceniju stoji kao trenutno stanje
- Zaključak o uzroku izveden iz meta-analize korelacionih istraživanja
- Pokušaj da se meta-analiza uradi kao diplomski rad bez dogovora sa mentorom i bez jasnog pitanja