Delfi metoda — pitanje stručnjacima u krugovima
Kako se sprovodi Delfi metoda: izbor stručnjaka, dva do tri kruga sa povratnom informacijom, merenje slaganja i šta se sme tvrditi na malom panelu.
Kratak odgovor
Delfi metoda je prikupljanje procena od grupe stručnjaka u nekoliko krugova. U prvom krugu svaki učesnik odgovara sam, bez uvida u tuđe odgovore. Zatim dobija sažetak svih odgovora i priliku da svoju procenu zadrži ili promeni. Krugovi se ponavljaju dok se procene ne ustale. Učesnici se međusobno ne vide i ne znaju ko je šta rekao, pa na njih ne utiče autoritet nego sam sadržaj tuđeg obrazloženja.
Postoje teme na kojima anketa ne radi. Ako pitaš kako će se neka delatnost menjati u narednih pet godina, koji su prioriteti u oblasti u kojoj ne postoji zvanična evidencija, ili koji kriterijumi treba da uđu u model — odgovor od trista slučajnih ljudi ne vredi ništa, jer većina njih o tome ne zna ništa. Odgovor petnaest ljudi koji tim poslom žive vredi mnogo.
Problem je što petnaest stručnjaka u istoj prostoriji ne daje petnaest mišljenja. Daje mišljenje onoga ko je najglasniji, plus četrnaest klimanja glavom. Delfi metoda postoji da bi se ta dva problema rešila odjednom: stručnjaci učestvuju, ali se ne vide.
Kako metod radi
Postupak ima isti oblik bez obzira na temu.
- Sastaviš panel i pozoveš ljude, objasnivši im koliko krugova ima i koliko vremena traži svaki.
- Prvi krug — svako odgovara sam, bez uvida u tuđe odgovore.
- Sažimaš odgovore u pregled: koliko ih je reklo šta, koje su prosečne ocene, koja su obrazloženja data.
- Drugi krug — svako dobije taj pregled i iste stavke, pa odlučuje da li ostaje pri svojoj proceni ili je menja.
- Ponavljaš dok se procene ne ustale, pa opisuješ i ono oko čega se panel nije usaglasio.
Poslednja tačka je ono što se najčešće pogrešno razume. Cilj nije da se svi slože. Cilj je da se vidi gde se slažu i gde se ne slažu, i zašto, pošto su svi pročitali tuđa obrazloženja.
Po čemu se razlikuje od sličnih metoda
| Delfi | Fokus grupa | Niz intervjua | |
|---|---|---|---|
| Da li se učesnici vide | ne | da | ne |
| Da li vide tuđe odgovore | da, u sažetku | da, uživo | ne |
| Broj prolaza | dva do tri kruga | jedna sesija | jedan razgovor po osobi |
| Šta se dobija | procene i stepen slaganja | interakcija i argumentacija | dubina pojedinačnog iskustva |
Ako te zanima kako ljudi jedni druge ubeđuju, treba ti fokus grupa. Ako te zanima pojedinačno iskustvo do detalja, treba ti intervju. Delfi bira onaj kome treba procena grupe koja se ne oslanja na to ko je u sobi najstariji.
Ko je stručnjak i kako se to zapisuje
Ovo je tačka na kojoj metod najčešće pukne pred komisijom. Pitanje „po čemu su ovo stručnjaci” mora imati odgovor napisan pre nego što si ikoga pozvao.
Kriterijum se sastavlja od nekoliko merljivih stavki i primenjuje na sve jednako: broj godina rada u oblasti, radno mesto ili uloga, iskustvo sa konkretnim poslom o kom se pita, objavljeni radovi ako je tema akademska. U radu se navodi kriterijum i sastav panela u tabeli, bez imena — koliko ih je iz koje vrste ustanove i sa kolikim iskustvom.
Panel se bira tako da pokrije različite uglove, a ne da bude ujednačen. Petnaest ljudi iz iste firme daju stav te firme. Petnaest ljudi iz tri vrste organizacija daju sliku oblasti. Kako se biraju ispitanici kad uzorak nije slučajan i kako se taj izbor obrazlaže: uzorak u istraživanju.
Koliko ljudi i koliko krugova
Za studentski rad izvodljiv panel je reda veličine deset do dvadeset ljudi, a dva kruga su pristojan minimum. Tri kruga su gornja granica koju studentski kalendar podnosi, jer svaki krug znači slanje, čekanje, podsećanje i obradu.
Dve stvari se u planiranju gotovo uvek potcene.
Osipanje između krugova. Ko odgovori u prvom krugu ne mora odgovoriti u drugom. Zato se poziva više ljudi nego što ti treba i zato se u radu navode dva broja: koliko je učestvovalo u kom krugu.
Vreme. Krug traje najmanje nedelju do deset dana od slanja do poslednjeg pristiglog odgovora. Dva kruga sa obradom između njih su mesec dana kalendara, i to mora da stane u rok.
Šta se pita u prvom, a šta u drugom krugu
Prvi krug može biti otvoren ili zatvoren, i ta odluka menja ceo posao.
Otvoren prvi krug znači da pitaš „koje faktore smatrate važnim” i da od dobijenih odgovora sam sastaviš spisak stavki za drugi krug. Daje bogatiji materijal, ali traži da taj spisak sastaviš pošteno i po pravilu koje možeš da napišeš.
Zatvoren prvi krug znači da već nudiš spisak stavki koje se ocenjuju. Brže je i lakše za obradu, ali sve što na spisku nije, neće se pojaviti — pa uvek ide uz otvoreno polje „šta nedostaje”.
U drugom krugu učesnik dobija tri stvari uz svaku stavku: sažetak odgovora celog panela, svoju sopstvenu ocenu iz prvog kruga i prostor da je promeni ili obrazloži zašto ostaje pri njoj. Obrazloženje onih koji ostaju pri odstupajućem stavu je često najvredniji deo celog istraživanja i ne sme se izgubiti u proseku.
Kako se anonimnost održava u praksi
Anonimnost u ovom metodu ne znači da ti ne znaš ko je ko — znaš, jer moraš da povežeš odgovore iste osobe kroz krugove. Znači da učesnici ne znaju jedni za druge, i to je stvar tehnike slanja.
Tri pravila koja to čuvaju: poziv se šalje svakome posebno, nikad svima u istom polju za primaoce; sažetak koji ide u drugi krug ne sadrži nijedan podatak po kom se prepoznaje ko je dao koje obrazloženje; a spisak učesnika se ne pominje ni u razgovoru, ni u radu. Ako se panel ionako međusobno zna, u sažetku se izostavlja i naziv ustanove, jer je i on dovoljan da se pogodi autor.
Kada se stalo i šta se prikazuje
Zaustavljanje se ne bira osećajem. Pravilo se određuje unapred i napiše: prestaje se posle unapred određenog broja krugova, ili kada se ocene između dva kruga više bitno ne menjaju.
U radu se prikazuje, po stavci: koliko je ljudi odgovorilo, kolika je bila procena u prvom i u drugom krugu, i koliko su odgovori razuđeni. Pomeranje između krugova je nalaz sam po sebi — pokazuje na kojim stavkama je tuđe obrazloženje promenilo mišljenje panela, a na kojima nije.
Šta se sme tvrditi
Panel od petnaest ljudi nije uzorak populacije i nikada se tako ne prikazuje. On je grupa informisanih procena, i nalaz glasi tako: ovako procenjuje panel sastavljen po ovom kriterijumu, a ne „struka smatra”.
Tri ograničenja se pišu redovno, jer ih komisija ionako vidi: sastav panela zavisi od toga do koga si mogao da dođeš, osipanje između krugova menja grupu koja odgovara, a sažetak koji si ti napravio utiče na to šta ljudi u sledećem krugu vide. Kako se takva ograničenja formulišu da ne oslabe rad: ograničenja istraživanja.
Najčešće greške
- Kriterijum stručnosti smišljen posle izbora učesnika
- Panel iz jedne ustanove predstavljen kao slika oblasti
- Jedan krug nazvan Delfi metodom — to je anketa na malom uzorku
- Učesnici koji se međusobno znaju i razgovaraju o odgovorima van postupka
- Odstupajuća mišljenja izbačena iz prikaza jer kvare prosek
- Pravilo zaustavljanja koje nije napisano, pa se stalo kad je ponestalo vremena
- Procenat slaganja predstavljen kao da dolazi iz reprezentativnog uzorka
Provera pre prvog kruga
- Da li moje pitanje uopšte traži procenu stručnjaka, ili obično anketno merenje?
- Kako glasi kriterijum po kom nekoga zovem i mogu li ga napisati u jednoj rečenici?
- Koliko ljudi pozivam da bih posle osipanja imao dovoljno u drugom krugu?
- Da li je prvi krug otvoren ili zatvoren i ko sastavlja spisak stavki?
- Šta tačno učesnik vidi u drugom krugu?
- Po kom pravilu prestajem sa krugovima?
- Koliko nedelja ceo postupak traje i staje li u moj rok?