Hva er sjansen for at det blir borgerkrig i Ukraina? Kommer eurosamarbeidet til å rakne? Blir regjeringen sittende? Vil pasienten utgjøre en fare for andre hvis han skrives ut?

Slike spørsmål er vanskelige å svare på. Det er mye fordi de ber om prediksjoner (forutsigelser) på områder – politikk, økonomi, psykiatri – hvor regelmessighet, gyldige tegn og klare tilbakemeldinger er mangelvare. På slike områder har selv høyt utdannede fagfolk med lang erfaring overraskende lite treffsikkert skjønn når de prøver å se inn i fremtiden. Geir Kirkebøen skriver innsiktsfullt om dette og forklarer noen av årsakene i en tidligere artikkel her i Psykologisk.no.

Før vi alle gir opp, får panikk og roper «Hjelp! Eksperten min virker ikke!», kan det kanskje være verdt å se litt nærmere på hva som kjennetegner fagfolk med ulik treffsikkerhet. Det er nemlig slik at selv om eksperter samlet sett ikke er stort mer treffsikre enn pilkastende sjimpanser – et bilde Daniel Kahneman brukte for å illustrere tilfeldige, slumpmessige valg – så er noen av dem marginalt (men systematisk) mer treffsikre enn gjennomsnittseksperten. Andre igjen er marginalt mindre treffsikre. Når folks liv, helse og økonomi, nasjoners fremtid og regioners stabilitet står på spill, så tar vi gjerne med oss marginene, tenker jeg.

En grundig spådomsstudie

Den amerikanske psykologen Philip Tetlock (nå ved University of Pennsylvania) har studert politiske kommentatorers spådomspresisjon grundigere enn noen annen. På midten av 1980-tallet rekrutterte han hundrevis av høyt profilerte eksperter på nasjonal og internasjonal politikk og økonomi. Han ba dem forsøke å forutsi endring (i positiv eller negativ retning) og stabilitet i en lang rekke forhold, både nasjonalt og internasjonalt, om strategiske og økonomiske størrelser, i stabile og ustabile regioner, på kort og lang sikt og både utenfor og innenfor egen spesialitet og spisskompetanse. Han ba dem også tallfeste den sikkerheten de knyttet til sine prediksjoner, samt begrunne et utvalg av dem.

I løpet av årene som fulgte falt verden på plass i alle disse kategoriene, og Tetlock kunne fortløpende telle opp hvor mange av de tusenvis forutsigelser som traff og som ikke traff. Fra det unike datasettet hentet han mengder av informative statistikker, blant annet slike som relaterer treffsikkerhet til egenskaper ved forutsigersken.

Så, hva kjennetegner de som treffer litt oftere eller litt sjeldnere? Et av de morsomste (og kanskje litt skremmende) funnene fra Tetlocks studie er at de som oftere bommer, også er de som uttaler seg mest i mediene. Vi bør sikkert være litt varsomme med å spekulere i hvorfor, men Tetlock tillater seg å fundere på om det muligens er slik at mediene foretrekker eksperter som serverer klare konklusjoner, vågale forutsigelser og kjekkasaktig selvsikkerhet. Kanskje tenker de at ingen lar seg underholde av nyanser, forbehold og «På den ene siden (…), men på den andre siden (…)».

Et annet litt kontraintuitivt funn er at det ikke spilte noen rolle hva slags fag ekspertene hadde sin utdannelse i. Det var altså ingen synlig forskjell i treffsikkerhet mellom økonomer, statsvitere, sosiologer og så videre. Tilsvarende for den sektoren ekspertene hadde sitt virke innenfor. Om de var ansatt i akademia, offentlig forvaltning, i medier eller tankesmier, en politisk organisasjon, militærvesen eller noe annet, var heller ikke av betydning for presisjonsnivået. Ikke engang hva de uttalte seg om, varierte systematisk med treffsikkerhet.

Rever og pinnsvin

Er det da ingenting annet enn manglende medietekke som skiller de litt dyktigere spåmenn og spåkvinner fra de litt mindre dyktige? Jo, da. Om det betyr lite hvem de er og hva de tenker om, så betyr det desto mer hvordan de tenker – hva slags kognitiv stil de har.

Tetlock låner en dyremetafor av idéhistorikeren Isaiah Berlin når han skal karakterisere ekspertenes kognitive stil. Berlin – som igjen sporer metaforen tilbake til den greske krigerpoeten Arkhilokos – sier noe sånt som at reven vet mange ting, den er listig og eklektisk. Pinnsvinet vet én stor ting, det er standhaftig og gir ikke opp. Og bare for å gjøre det implisitte eksplisitt: Det er altså rever som vanligvis vinner pilkastingsskonkurransen, knepent foran sjimpanser og pinnsvin.

Revene i Tetlocks studie veier argumenter for og imot flere alternative hypoteser. De er forsiktige, tar gjerne forbehold, og kan fremstå som litt nølende og ubesluttsomme. De har høy toleranse for usikkerhet, kompleksitet og nyanser. De har ofte en tverrfaglig og mangefasettert tilnærming til problemer og har en tendens til å legge mer vekt på observasjoner og data enn på teori. Viktigst av alt: De er nesten like kritiske til seg selv og sine egne hypoteser som de er til andres, og de er villige til å innrømme feil. De bruker ny informasjon til å justere egne oppfatninger og forbedre sine spådommer.

Pinnsvinene er oftere tilhengere av en omfattende, enhetlig teori eller et verdensbilde, som de anvender i de fleste sammenhenger. De er tydeligere, selvsikre, mindre forbeholdne og utålmodige i møte med uklarheter. De er skeptiske til andre faglige tilnærminger enn sin egen og lar ofte teorien forme forståelsen av ny informasjon. Viktigst av alt: De har større behov for å bortforklare bommerter og feil – «Jeg hadde nesten rett, og ville ha fått rett hvis bare ikke tilfeldigvis…». Der hvor reven bruker ny informasjon til å justere sin oppfatning, bruker pinnsvinet den selektivt til å bekrefte sin.

Revens spisse ører

I alt dette er det en dimensjon som er spesielt interessant: Reven har større tilbøyelighet til å integrere flere perspektiver og forsøke å finne en farbar middelvei. Det er i tråd med anbefalingen til statistiker og pop-forutsiger Nate Silver: Det lønner seg å søke konsensus, for sentraltendensen (for eksempel gjennomsnittet) i et utvalg spådommer er nesten alltid mer treffsikker enn noen enkeltprediksjon.

Å nyttiggjøre seg andres synspunkter i egne beregninger, slik reven gjør, er slett ikke enkelt. Særlig når vi tror vi vet noe fra før. Det viser en fin liten serie eksperimenter utført av Ilan Yaniv og Shoham Choshen-Hillel ved Det Hebraiske Universitet i Jerusalem. De ba deltakerne sine om å beregne kaloriinnholdet i ulike matvarer. Noen av dem fikk på forhånd vite hva slags matvarer det dreide seg om, og kunne dermed gjøre seg opp en egen formening. Andre fikk ikke denne muligheten. Alle deltakerne fikk så se beregningene til fem andre deltakere. Alle hadde litt nytte av andres beregninger, men de som hadde fått anledning til selv å gjøre seg opp en mening om matvarene før de fikk se hva andre mente, var konsekvent og betydelig dårligere til å beregne kaloriinnhold. Et tips til de av oss som gjerne vil bli litt mer «revete», er altså å spisse ørene og lytte til gode råd – helst før vi gjør oss opp vår egen mening om en sak.

Allikevel: Før vi bejubler og feirer den sympatiske reven som lett, listende spådomsseierdyr og latterliggjør det sjølgode pinnsvinet som en enfoldig, nærsynt stakkar som graver sin egen prediktive grav, bør vi huske på at heller ikke revens treffsikkerhet er svært imponerende. Relativt enkle statistiske modeller treffer vanligvis bedre enn selv den slueste ekspert.

Konklusjonen må derfor kanskje bli omtrent slik: Hvis spådommen angår et område preget av uregelmessighet og mangel på tydelige tegn, så bør vi la systematisk innsamlede data og klokt anvendte statistiske beregninger (altså forskning) styre vår tro på hva fremtiden bringer. Hvis vi ikke har god forskning for hånden, og i nøden må ta til takke med eksperter, så er anbefalingen rimelig grei: Hør på hva reven har å si!

Kilder

Silver, N. (2012). The signal and the noise: Why so many predictions fail – but some don’t. New York, NY: The Penguin Press.

Tetlock, P. E. (2005). Expert political judgment: How good is it? How can we know? Princeton, NJ: Princeton University Press.

Yaniv, I. & Choshen-Hillel, S. (2012). Exploiting the wisdom of others to make better decisions: Suspending judgment reduces egocentrism and increases accuracy. Journal of Behavioral Decision Making, 25(5), 427–434. doi: 10.1002/bdm.740.