Den andre juni 2001 dør 24 år gamle Ellen Roche på et sykehus i Baltimore. Årsaken var dårlige litteratursøk.

De dårlige litteratursøkene var selvsagt ikke den direkte årsaken til tragedien – det var det ødelagte lunger, fallende blodtrykk og sviktende nyrer som var – men indirekte bidro de til at hun mistet livet (se Savulescu & Spriggs, 2002).

Omtrent en måned tidligere deltok Roche som frivillig i en studie hvor formålet var å få bedre innsikt i en refleks som beskytter mot astma. Som en del av prosedyren pustet Roche inn medikamentet hexamethonium for å fremprovosere et mildt astmaanfall. Forskeren som ledet studien, antok at prosedyren var trygg, og den interne etiske komiteen ved Johns Hopkins University gikk god for denne vurderingen.

Grunnlaget for antakelsen var at litteraturen forskeren baserte seg på, ikke ga noen indikasjon på at inhalasjon av hexamethonium var farlig. Forskeren hadde gjort enkle søk i databasen PubMed og konsultert noen lærebokverk på området. Litteraturen han fanget opp, var ufullstendig, og han gikk dermed glipp av viktige funn som ville avkreftet antakelsen.

Når enkeltstudier tillegges for mye vekt

Tragedien ved Johns Hopkins er et slående eksempel på at den mest komplette og pålitelige kunnskapen er den som bygger på all den relevante forskningen. Johns Hopkins-forskeren feilet i en av de viktigste teknikkene i forskningsoppsummeringens edle, men krevende kunst: å finne fram til alle studier som relevante for den problemstillingen som skal belyses.

Enkeltstudier er viktige og helt nødvendige, men de er viktige først og fremst som brikker i et komplekst puslespill. De kan gi hint om hva motivet er, men hver for seg gir de bare ufullstendige, og noen ganger feilaktige, inntrykk. Det er først når brikkene er samlet sammen og hektet ihop at vi kan være noenlunde sikre på at vi vet hva det er vi ser på. Derfor er det et problem at enkeltstudier tillegges for mye vekt når vi skal danne oss et bilde av virkeligheten.

Tendensen til å fremheve resultatene av enkeltstudier er spesielt tydelig og problematisk når forskning formidles til et større publikum i nyhetsmedier. For å fortjene plass i nyhetsspaltene, bør resultatene helst være iøynefallende og lettfattelige – gjerne av typen «X er bra/dårlig for deg» eller «kvinner/menn er mer slik eller sånn». Traust, grundig og solid forskning, som ikke legger skjul på verken usikkerhet eller kompleksitet, blir kanskje litt for usexy. Dette er problematisk fordi iøynefallende og lettfattelige forskningsresultater ofte ikke lar seg bekrefte i senere studier (se f.eks. Dumas-Mallet, Smith, Boraud & Gonon, 2017).

Hvordan kan det ha seg? Jo, når et nytt forskningsspørsmål undersøkes for første gang, så går man gjerne litt forsiktig ut. En liten studie, kanskje, for å se om der kan være noe her. Ofte er det ikke det, og da blir gjerne resultatene liggende i en skuff eller folder, og ingen andre enn forskeren selv får vite at hypotesen ikke fikk støtte. Men så er det jo sånn da, at i en komplisert og uoversiktlig verden så er det mange ting som kan påvirke et forskningsresultat. De fleste av dem har vi ikke kontroll over. Dermed vil en og annen slik liten, utprøvende studie tilfeldigvis råke til å gi resultater som kan se ut som om de bekrefter hypotesen. Da øker sannsynligheten for at det publiseres en forskningsrapport i et høystatustidsskrift.

Dette er noe av dynamikken i fenomenet som kalles for publikasjonsskjevhet (eng. «publication bias»). Publikasjonsskjevhet bidrar til å forklare hvorfor det er så farlig å selektivt basere seg på den litteraturen som er lettest tilgjengelig. Og når nyhetsmediene videreformidler slike resultater, så forsterkes problemene med publikasjonsskjevheter. Det kan få både forskere, som jo også leser nyheter, og alle oss andre til å feste lit til påstander om verden som senere viser seg å være uriktige. Det er uheldig i en tid hvor tilliten til forskning og vitenskap er under press og hvor både forskere og forskningsresultater blir utsatt for populistiske angrep.

Selektiv publisering

Medieoppstyret rundt forskningen på såkalt maktposering (eng. «power posing») er et godt eksempel på hvordan et iøynefallende og enkelt forskningsresultat blir bredt formidlet, for senere å vise seg å ha begrenset gyldighet. I den opprinnelige studien (Carney, Cuddy & Yap, 2010), som bare hadde 42 deltakere, fant en forskergruppe fra Columbia University og Harvard Business School resultater som tydet på at dersom man inntok en kroppsstilling som kommuniserer makt (åpne, brede positurer), så påvirker det både hormonnivåer og risikovillighet. Typisk iøynefallende, altså. En senere studie (Ranehill et al., 2015), med lignende metode og flere deltakere (200), klarte ikke finne lignende resultater.

Men debatten rundt maktposeringsforskningen er også et eksempel på den særskilte utfordringen publikasjonsskjevhet utgjør for de som vil gjøre en god forskningsoppsummering. Nylig forsøkte forfatterne av den opprinnelige maktposeringsstudien seg på en slik oppsummering (Carney, Cuddy & Yap, 2015). De viste der til at hele 33 studier som undersøkte virkningene av ekspansive versus sammensunkne kroppspositurer, tydet på at der er en forskjell i tråd med deres opprinnelige hypotese og funn.

33 forskningsrapporter med tilnærmet samme resultat høres unektelig nokså imponerende ut. Men ikke dersom også disse rapportene er et resultat av publikasjonsskjevhet!

På bakgrunn av en nyutviklet analysemetode kalt P-kurving (Simonsohn, Nelson & Simmons, 2014) argumenterer to forskere ved University of Pennsylvania for at maktposeringslitteraturen nettopp er preget av en publiseringsskjevhet som skyldes selektiv rapportering (Simmons & Simonsohn, 2017). Litt forenklet baserer analysen seg på antakelser om hvordan p-verdier fordeler seg i spennet mellom 0,00 og 0,05. Dersom et knippe studier undersøker et virkelig fenomen, en «sann» effektstørrelse, så vil fordelingen av p-verdier fra slutningsstatistiske tester av den være høyrevridd (fordelingen vil ha flere lave p-verdier ned mot 0,01 og 0,00 og relativt sett færre høye p-verdier opp mot 0,04 og 0,05). I motsetning til dette vil fordelingen av p-verdier typiske være flatere dersom studiene de stammer fra, forsøker å avdekke en effekt som ikke er reell.

Hvordan kan det ha seg at så mange studier ser ut til å vise en effekt som ikke finnes? Graden av iøynefallenhet og påfølgende medieoppmerksomhet spiller antakelig en rolle her. Når et overraskende funn får mye oppmerksomhet, så er det mange som hiver seg på og vil studere effekten. Om effekten ikke er reell, så vil de fleste forsøk på å gjenskape den mislykkes. Men dersom det er mange nok som prøver, og dersom forsøkene preges av lav statistisk styrke, så vil tilfeldigheter og publikasjonsskjevhet bidra til at positive resultater likevel dukker opp.

Forskning viser at…

Å anta at vi har det fulle bildet når vi ikke har det, kan få tragiske følger, som i astmastudien ved Johns Hopkins. Det kan også få komiske følger, som i maktposeringsforskningen – bare se for deg de mange tusener næringslivlederspirer rundt om i verden som fåfengt poserer bredbent foran speilet hver morgen i håp om å sikre suksess og fremgang. Følgene av usystematiske og misvisende forskningsoppsummeringer kan imidlertid også være mer subtile og vanskelige å få øye på. Like fullt er de alvorlige, særlig om de bidrar til å undergrave en allerede tynnslitt tillitt til forskning og vitenskap.

Å fullføre setningen «Forskning viser at …» med et innhold vi kan sette noen grad av lit til, krever mer enn bare å kaste et blikk på de lettest tilgjengelige forskningsartiklene. God forsknings­oppsummering krever grundighet og systematikk i arbeidet med å finne fram til all relevant forskning. Og skal det være mulig å få til, så krever det også en villighet til å møte de truslene som lav statistisk styrke, selektiv rapportering og publikasjonsskjevhet utgjør mot gyldigheten av det bildet en oppsummering skal gi oss.

Kilder

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21, 1363–1368. doi:10.1177/0956797610383437

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2015). Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays. Psychological Science, 26(5), 657–663. doi:10.1177/0956797614566855

Dumas-Mallet, E., Smith, A., Boraud, T. & Gonon, F. (2017). Poor replication validity of biomedical association studies reported by newspapers. PLoS ONE, 12(2), 1–15. doi:10.1371/journal.pone.0172650

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S. & Weber, R. A. (2015). Assessing the robustness of power posing. Psychological Science, 26(5), 653–656. doi:10.1177/0956797614553946

Savulescu, J. & Spriggs, M. (2002). The hexamethonium asthma study and the death of a normal volunteer in research. Journal of Medical Ethics, 28, 3–4. doi:10.1136/jme.28.1.3

Simmons, J. P. & Simonsohn, U. (2017). Power posing: P-curving the evidence. Psychological Science (advance online publication). doi:10.1177/0956797616658563

Simonsohn, U., Nelson, L. D. & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. doi:10.1037/a0033242