Pristrasnost i kako se ograničava

Pristrasnost nije nepoštenje. To je sistematsko odstupanje nalaza u jednom smeru koje nastaje iz načina na koji je istraživanje sprovedeno, i najčešće ga niko ne primeti dok se rad piše.

Razlika u odnosu na slučajnu grešku je u tome što se pristrasnost ne poništava većim uzorkom. Ako u uzorak sistematski ulaze zadovoljniji ljudi, dvostruko više njih daje isto pomeren prosek, samo sa užim rasponom.

Ovaj tekst je o tome šta se može uraditi pre nego što nastane. Kako se ono što ostane napiše na kraju rada, bez slabljenja nalaza: ograničenja istraživanja.

Četiri mesta na kojima ulazi

Pristrasnost se ne uvlači svuda podjednako. Postoje četiri tačke, i na svakoj se brani drugačije.

Poslednji red je najmanje očigledan i najviše šteti, jer nastaje kad su podaci već pred tobom.

Ko je u uzorku, a ko nije

Najčešći oblik u studentskim radovima, i skoro uvek isti: anketa je podeljena tamo gde je autor imao pristup.

Dva mehanizma rade zajedno. Prvi je kako si do ljudi došao — preko svoje grupe, svog radnog mesta, svoje mreže. Drugi je ko se od pozvanih odazvao — a odazivaju se oni koje tema više zanima ili koji imaju jači stav.

Šta se može uraditi:

• Više kanala. Ako je moguće, poziv ide kroz dva ili tri različita puta, a ne samo kroz jedan.
• Kriterijum napisan unapred. Ko ulazi u uzorak odlučuje se pre prikupljanja, ne posle.
• Odziv se beleži. Koliko je pozvano, koliko odgovorilo. Bez ta dva broja se pristrasnost ne može ni proceniti, a odziv se ne rekonstruiše naknadno.
• Poređenje sa onim što se zna. Ako o populaciji postoji podatak iz izvora koji možeš da citiraš, uporedi sastav uzorka sa njim.

Ono što se ne može: popraviti to kasnije, računom. Pristrasnost uzorka se opisuje, ne ispravlja. Kako se uzorak bira i koje vrste postoje: uzorak u istraživanju.

Instrument koji vodi ka odgovoru

Drugo mesto, i jedino koje se u celini može rešiti pre prikupljanja.

Pitanje ume da nosi odgovor u sebi na više načina: sugestivnom formulacijom, skalom koja nema ravnotežu, redosledom u kom prethodno pitanje postavlja okvir za sledeće, ili ponuđenim odgovorima koji ne pokrivaju sve mogućnosti. Svaki od tih oblika ima svoj primer i svoju ispravku: najčešće greške u anketama.

Praktično, tri stvari uhvate skoro sve:

Pročitaj svako pitanje naglas i pitaj se koji odgovor očekuješ. Ako znaš odgovor pre nego što ga dobiješ, pitanje ga verovatno sugeriše.

Proveri ravnotežu skale. Isti broj stepeni na obe strane, sa razmacima koji su i po rečima podjednaki.

Daj upitnik na probu ljudima iz ciljne grupe, i to naglas. Ono što oni razumeju drugačije nego što si zamislio vidi se samo tako, i to pre nego što upitnik ode ostalima.

Kod intervjua je isto, samo je opasnije: potpitanje koje tražiš samo kad odgovor ne ide u očekivanom smeru pomera celu građu. Odbrana je vodič sa istim osnovnim pitanjima za sve sagovornike, a odstupanja od njega se beleže dok razgovor traje.

Prikupljanje: ko pita i ko sluša

Treće mesto. Ovde se pristrasnost javlja iz odnosa između tebe i ispitanika.

Ljudi odgovaraju drugačije kad znaju da odgovor vidi neko iz njihove sredine, kad slute šta se od njih očekuje ili kad tema dodiruje nešto što se ne priznaje rado. To nije laž — to je predvidljiv pomeraj.

Šta se radi:

Anonimnost mora biti stvarna i objašnjena. Rečenica u uvodu ankete kaže ko vidi odgovore i u kom obliku se prikazuju.

Ista procedura za sve. Isto uputstvo, isti uslovi, isti redosled. Ako je deo ljudi anketiran u kancelariji pred kolegama, a deo kod kuće, to su dve različite situacije i to se piše.

Ne objašnjavaj hipotezu unapred. Cilj istraživanja se kaže opšte, bez toga šta očekuješ da ćeš naći.

Ako anketiraš na svom radnom mestu ili u svom odeljenju, dodaj odstojanje gde god možeš — popunjavanje bez tvog prisustva, predaja bez identifikacije. Ako si nekome od ispitanika nadređen, to se u metodologiji napiše, a ne zaobiđe.

Obrada i izbor nalaza

Četvrto mesto i jedino koje je u celini pod tvojom kontrolom — zato što nastaje posle prikupljanja, kad su podaci već tu.

Tri oblika koja se ponavljaju:

Isključivanje po pravilu smišljenom posle. Upitnici se izbacuju zato što „očigledno nisu ozbiljno popunjeni”, a razlog se javi tek kad se vide odgovori. Pravilo mora biti zapisano u metodologiji pre gledanja podataka.

Testiranje dok nešto ne ispadne. Podaci se dele, grupe spajaju i testovi ponavljaju dok se ne pojavi značajna razlika, pa se u rad napiše samo ona. Što se više poređenja izvede na istim podacima, to je veća šansa da se razlika pojavi i kad je zapravo nema.

Prećutkivanje onoga što se ne uklapa. Hipoteza koja nije potvrđena i nalaz koji ide protiv očekivanja pišu se isto kao i ostali. Nepotvrđena hipoteza nije neuspeh istraživanja nego jedan od njegovih mogućih ishoda.

Odbrana je jednostavna i besplatna: plan obrade napisan pre nego što podaci stignu. Koje hipoteze, kojim postupkom, po kom pravilu se isključuje. Sve što se od njega odstupi kasnije, piše se kao odstupanje.

Kod kvalitativnog rada isti rizik ima drugo ime — biraju se citati koji potvrđuju temu. Postupci kojima se to smanjuje: validnost kvalitativnog istraživanja.

Šta ostaje i kako se priznaje

Pristrasnost se ne uklanja do kraja. U studentskom radu, sa uzorkom do kog se došlo kako se moglo, uvek nešto ostane — i to nije mana rada nego njegov okvir.

Razlika između dobrog i lošeg rada nije u tome ima li pristrasnosti, nego u tome da li autor zna gde je. Ograničenje napisano sa imenom i smerom — „uzorak je prikupljen preko jedne mreže kontakata, pa je verovatno pomeren ka onima koje tema više zanima” — pokazuje da si razumeo sopstveni nacrt.

Rečenica „istraživanje je bilo objektivno” ne pokazuje ništa i na odbrani otvara pitanje umesto da ga zatvori.

Zato ove dve stvari stoje na dva različita mesta i ne prepričavaju jedna drugu. U metodologiji stoji šta je urađeno da se pristrasnost smanji — više kanala, probno popunjavanje, plan obrade napisan unapred. U ograničenjima stoji šta je i pored toga ostalo, sa imenom i smerom. Rad u kom prvog nema, a drugo je duga lista izvinjenja, pokazuje da se o tome mislilo tek na kraju.

Postoji i lakši način da se ovo isprati dok istraživanje traje: svaka odluka koja je mogla da ide i drugačije — zašto baš taj kanal, zašto je to pitanje izbačeno, zašto je taj upitnik isključen — zapisuje se u trenutku kad je doneta. Kasnije se iz tih upisa pišu obe rečenice, bez pokušaja da se posle godinu dana rekonstruiše zašto je nešto urađeno tako.

Najčešće greške

• Anketa podeljena samo kroz sopstvenu mrežu, bez ijedne reči o tome
• Odziv nigde zabeležen, pa se pristrasnost ne može ni proceniti
• Sugestivna pitanja koja nikad nisu pročitana naglas
• Ispitanici anketirani pred kolegama, a deo njih nasamo
• Pravilo za isključivanje smišljeno posle gledanja podataka
• Testovi ponavljani dok nešto nije ispalo značajno
• Nepotvrđena hipoteza prećutana ili opisana kao „delimično potvrđena”
• Pristrasnost samo navedena u ograničenjima, iako se deo mogao smanjiti unapred