• Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
  • Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
Kritisk tenkning med Torstein Låg

Dødsårsak: For dårlig litteratursøk?

Selektiv rapportering av forsknings­resultater kan få alvorlige følger for oss alle, skriver Torstein Låg.

LITTERATURSØK: Å oppsummere forskning er en krevende kunst. Å fullføre setningen «Forskning viser at …» med et innhold vi kan feste lit til, krever mer enn et raskt blikk på de lettest tilgjengelige forsknings­artiklene, skriver Torstein Låg. Illustrasjonsfoto: MattysFlicks / Flickr.

Torstein Låg

Sist oppdatert: 03.05.17  |  Publisert: 02.05.17

Forfatterinfo

Torstein Låg

Torstein Låg er fagansvarlig for psykologi, psykiatri og filosofi på Universitetsbiblioteket ved UiT Norges arktiske universitet. Han er utdannet psykolog og har doktorgrad i kognitiv psykologi. De faglige interessene hans favner vidt, men ofte knytter de seg til hvordan vi forstår, misforstår, bruker og misbruker informasjon.

Den andre juni 2001 dør 24 år gamle Ellen Roche på et sykehus i Baltimore. Årsaken var dårlige litteratursøk.

De dårlige litteratursøkene var selvsagt ikke den direkte årsaken til tragedien – det var det ødelagte lunger, fallende blodtrykk og sviktende nyrer som var – men indirekte bidro de til at hun mistet livet (se Savulescu & Spriggs, 2002).

Omtrent en måned tidligere deltok Roche som frivillig i en studie hvor formålet var å få bedre innsikt i en refleks som beskytter mot astma. Som en del av prosedyren pustet Roche inn medikamentet hexamethonium for å fremprovosere et mildt astmaanfall. Forskeren som ledet studien, antok at prosedyren var trygg, og den interne etiske komiteen ved Johns Hopkins University gikk god for denne vurderingen.

Grunnlaget for antakelsen var at litteraturen forskeren baserte seg på, ikke ga noen indikasjon på at inhalasjon av hexamethonium var farlig. Forskeren hadde gjort enkle søk i databasen PubMed og konsultert noen lærebokverk på området. Litteraturen han fanget opp, var ufullstendig, og han gikk dermed glipp av viktige funn som ville avkreftet antakelsen.

Når enkeltstudier tillegges for mye vekt

Tragedien ved Johns Hopkins er et slående eksempel på at den mest komplette og pålitelige kunnskapen er den som bygger på all den relevante forskningen. Johns Hopkins-forskeren feilet i en av de viktigste teknikkene i forskningsoppsummeringens edle, men krevende kunst: å finne fram til alle studier som relevante for den problemstillingen som skal belyses.

Enkeltstudier er viktige og helt nødvendige, men de er viktige først og fremst som brikker i et komplekst puslespill. De kan gi hint om hva motivet er, men hver for seg gir de bare ufullstendige, og noen ganger feilaktige, inntrykk. Det er først når brikkene er samlet sammen og hektet ihop at vi kan være noenlunde sikre på at vi vet hva det er vi ser på. Derfor er det et problem at enkeltstudier tillegges for mye vekt når vi skal danne oss et bilde av virkeligheten.

Tendensen til å fremheve resultatene av enkeltstudier er spesielt tydelig og problematisk når forskning formidles til et større publikum i nyhetsmedier. For å fortjene plass i nyhetsspaltene, bør resultatene helst være iøynefallende og lettfattelige – gjerne av typen «X er bra/dårlig for deg» eller «kvinner/menn er mer slik eller sånn». Traust, grundig og solid forskning, som ikke legger skjul på verken usikkerhet eller kompleksitet, blir kanskje litt for usexy. Dette er problematisk fordi iøynefallende og lettfattelige forskningsresultater ofte ikke lar seg bekrefte i senere studier (se f.eks. Dumas-Mallet, Smith, Boraud & Gonon, 2017).

Hvordan kan det ha seg? Jo, når et nytt forskningsspørsmål undersøkes for første gang, så går man gjerne litt forsiktig ut. En liten studie, kanskje, for å se om der kan være noe her. Ofte er det ikke det, og da blir gjerne resultatene liggende i en skuff eller folder, og ingen andre enn forskeren selv får vite at hypotesen ikke fikk støtte. Men så er det jo sånn da, at i en komplisert og uoversiktlig verden så er det mange ting som kan påvirke et forskningsresultat. De fleste av dem har vi ikke kontroll over. Dermed vil en og annen slik liten, utprøvende studie tilfeldigvis råke til å gi resultater som kan se ut som om de bekrefter hypotesen. Da øker sannsynligheten for at det publiseres en forskningsrapport i et høystatustidsskrift.

Dette er noe av dynamikken i fenomenet som kalles for publikasjonsskjevhet (eng. «publication bias»). Publikasjonsskjevhet bidrar til å forklare hvorfor det er så farlig å selektivt basere seg på den litteraturen som er lettest tilgjengelig. Og når nyhetsmediene videreformidler slike resultater, så forsterkes problemene med publikasjonsskjevheter. Det kan få både forskere, som jo også leser nyheter, og alle oss andre til å feste lit til påstander om verden som senere viser seg å være uriktige. Det er uheldig i en tid hvor tilliten til forskning og vitenskap er under press og hvor både forskere og forskningsresultater blir utsatt for populistiske angrep.

Selektiv publisering

Medieoppstyret rundt forskningen på såkalt maktposering (eng. «power posing») er et godt eksempel på hvordan et iøynefallende og enkelt forskningsresultat blir bredt formidlet, for senere å vise seg å ha begrenset gyldighet. I den opprinnelige studien (Carney, Cuddy & Yap, 2010), som bare hadde 42 deltakere, fant en forskergruppe fra Columbia University og Harvard Business School resultater som tydet på at dersom man inntok en kroppsstilling som kommuniserer makt (åpne, brede positurer), så påvirker det både hormonnivåer og risikovillighet. Typisk iøynefallende, altså. En senere studie (Ranehill et al., 2015), med lignende metode og flere deltakere (200), klarte ikke finne lignende resultater.

Men debatten rundt maktposeringsforskningen er også et eksempel på den særskilte utfordringen publikasjonsskjevhet utgjør for de som vil gjøre en god forskningsoppsummering. Nylig forsøkte forfatterne av den opprinnelige maktposeringsstudien seg på en slik oppsummering (Carney, Cuddy & Yap, 2015). De viste der til at hele 33 studier som undersøkte virkningene av ekspansive versus sammensunkne kroppspositurer, tydet på at der er en forskjell i tråd med deres opprinnelige hypotese og funn.

33 forskningsrapporter med tilnærmet samme resultat høres unektelig nokså imponerende ut. Men ikke dersom også disse rapportene er et resultat av publikasjonsskjevhet!

På bakgrunn av en nyutviklet analysemetode kalt P-kurving (Simonsohn, Nelson & Simmons, 2014) argumenterer to forskere ved University of Pennsylvania for at maktposeringslitteraturen nettopp er preget av en publiseringsskjevhet som skyldes selektiv rapportering (Simmons & Simonsohn, 2017). Litt forenklet baserer analysen seg på antakelser om hvordan p-verdier fordeler seg i spennet mellom 0,00 og 0,05. Dersom et knippe studier undersøker et virkelig fenomen, en «sann» effektstørrelse, så vil fordelingen av p-verdier fra slutningsstatistiske tester av den være høyrevridd (fordelingen vil ha flere lave p-verdier ned mot 0,01 og 0,00 og relativt sett færre høye p-verdier opp mot 0,04 og 0,05). I motsetning til dette vil fordelingen av p-verdier typiske være flatere dersom studiene de stammer fra, forsøker å avdekke en effekt som ikke er reell.

Hvordan kan det ha seg at så mange studier viser en effekt som ikke finnes?

Hvordan kan det ha seg at så mange studier ser ut til å vise en effekt som ikke finnes? Graden av iøynefallenhet og påfølgende medieoppmerksomhet spiller antakelig en rolle her. Når et overraskende funn får mye oppmerksomhet, så er det mange som hiver seg på og vil studere effekten. Om effekten ikke er reell, så vil de fleste forsøk på å gjenskape den mislykkes. Men dersom det er mange nok som prøver, og dersom forsøkene preges av lav statistisk styrke, så vil tilfeldigheter og publikasjonsskjevhet bidra til at positive resultater likevel dukker opp.
Forskning viser at…

Å anta at vi har det fulle bildet når vi ikke har det, kan få tragiske følger, som i astmastudien ved Johns Hopkins. Det kan også få komiske følger, som i maktposeringsforskningen – bare se for deg de mange tusener næringslivlederspirer rundt om i verden som fåfengt poserer bredbent foran speilet hver morgen i håp om å sikre suksess og fremgang. Følgene av usystematiske og misvisende forskningsoppsummeringer kan imidlertid også være mer subtile og vanskelige å få øye på. Like fullt er de alvorlige, særlig om de bidrar til å undergrave en allerede tynnslitt tillitt til forskning og vitenskap.

Å fullføre setningen «Forskning viser at …» med et innhold vi kan sette noen grad av lit til, krever mer enn bare å kaste et blikk på de lettest tilgjengelige forskningsartiklene. God forsknings­oppsummering krever grundighet og systematikk i arbeidet med å finne fram til all relevant forskning. Og skal det være mulig å få til, så krever det også en villighet til å møte de truslene som lav statistisk styrke, selektiv rapportering og publikasjonsskjevhet utgjør mot gyldigheten av det bildet en oppsummering skal gi oss.

Kilder

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21, 1363–1368. doi:10.1177/0956797610383437

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2015). Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays. Psychological Science, 26(5), 657–663. doi:10.1177/0956797614566855

Dumas-Mallet, E., Smith, A., Boraud, T. & Gonon, F. (2017). Poor replication validity of biomedical association studies reported by newspapers. PLoS ONE, 12(2), 1–15. doi:10.1371/journal.pone.0172650

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S. & Weber, R. A. (2015). Assessing the robustness of power posing. Psychological Science, 26(5), 653–656. doi:10.1177/0956797614553946

Savulescu, J. & Spriggs, M. (2002). The hexamethonium asthma study and the death of a normal volunteer in research. Journal of Medical Ethics, 28, 3–4. doi:10.1136/jme.28.1.3

Simmons, J. P. & Simonsohn, U. (2017). Power posing: P-curving the evidence. Psychological Science (advance online publication). doi:10.1177/0956797616658563

Simonsohn, U., Nelson, L. D. & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. doi:10.1037/a0033242

Redaksjonen anbefaler

Emosjonelt ustabil personlighets­forstyrrelse: Pårørende kan falle i en av to grøfter

  • Nyheter, Pluss

Ønsker mer fokus på det psykologiske aspektet i møte med en pasient

  • Nyheter, Pluss

ME-syke Merethe følte seg ikke forstått. Det fikk fatale konsekvenser

  • Nyheter, Pluss

Nyutdannet psykolog: – Det kom til et punkt hvor jeg druknet i pasienter

  • Nyheter, Pluss

Hvorfor utvikler noen unnvikende personlighets­forstyrrelse?

  • Nye bøker, Nyheter, Pluss

Dette er de vanligste barndoms­traumene

  • Nyheter, Pluss

– Noen får mer ut av en økt med pusting, enn ti år med samtaleterapi

  • Nyheter, Pluss

Bipolar type 1 og 2: Ulike lidelser, men lignende løsninger

  • Nyheter, Pluss

Maren ville ikke dø alene. Men telefonen hun ringte til, reddet i stedet livet hennes

  • Nyheter, Pluss

Ut av depresjon: – Slik snur du den destruktive sirkelen

  • Nye bøker, Nyheter, Pluss

ADHD og autisme: – En hvit flekk på terapikartet

  • Nyheter, Pluss

Opplevde gjespende behandler: Helt greit eller sosialt uhørt?

  • Nyheter, Pluss

Ny forskning: Jo mer traume, desto mer sinne

  • Nyheter, Pluss

Frykten for å stamme fikk han til å besvime på scenen

  • Nye bøker, Pluss

Gode mennesker har et personlighetstrekk til felles

  • Nyheter, Pluss

Åtte psykologi-filmer du kan nyte i regnværet

  • Nyheter, Pluss

Fastlegen mener vi bør ignorere flere helseråd og bli mer fornøyde med det vi allerede gjør

  • Nye bøker, Nyheter, Pluss

Karl-Vidar Lende fikk angstanfall på scenen: – Det skumleste var at ingen merket det

  • Nyheter, Pluss

Engstelig tilknytning: Når partnerens usikkerhet styrer forholdet

  • Nyheter, Pluss

Anne B. Ragde drar heller på hytta enn til psykolog

  • Nyheter, Pluss

Barndomstraumer: – Diagnoser tar ikke i betraktning hva du har opplevd

  • Nyheter, Pluss

Det som ikke dreper deg, gjør deg ikke sterkere. Det gjør deg bare hardere

  • Hverdagspsykologi med Eirik Hørthe, Pluss

Uvanlig selvutvikling: Alma er en av mange som bevisst oppsøker avvisning – trenden brer om seg

  • Nyheter, Pluss

Kvinner er oftere «ondsinnet utro» enn menn, ifølge studie

  • Nyheter, Pluss

Det finnes veier ut av håpløsheten

  • Nyheter, Pluss

Omfattende studie avdekker hvordan traumer i barndommen endrer hjernens utvikling

  • Nyheter, Pluss

Så du har fått diagnosen ADHD. Hva nå?

  • Nyheter, Pluss

Tillitsbrudd i parforholdet: – Skaper uro, usikkerhet, sorg og sinne

  • Nyheter, Pluss

– Behovet for anerkjennelse styrer oss gjennom hele livet

  • Nye bøker, Pluss

Tilknytning: Når barndommen gjentar seg i parforholdet

  • Nyheter, Pluss

Siste saker

Ukom: Dårlig ytrings­klima i helse­vesenet er en fare for pasient­sikkerheten

  • Nyheter, Pluss

Lena mistet barnet sitt – så måtte hun høre nyfødte skrike fra gangen

  • Nyheter, Pluss

Annenhver trans­kjønnet pasient kan ha vært utsatt for konverterings­terapi på norsk sykehus, ifølge tall fra pasient­organisasjon

  • Nyheter, Pluss

Møt min psykolog, chatboten!

  • Ytringer

At Helsedirektoratet ikke svarer, knuser hjertet mitt

  • Ytringer

– Fatigue er ikke bare å være sliten. Det er å våkne utslitt etter 15 timer søvn

  • Nyheter, Pluss

Depresjon kan være et tidlig varsel om kroniske smerter

  • Nyheter, Pluss

Stress og smerter: – Systemet ligger ikke til rette for å hjelpe disse pasientene

  • Nyheter, Pluss

Føler du deg ensom? Slik kan bøker hjelpe

  • Nyheter, Pluss

– Målet er ikke å bli kvitt stresset. Målet er å mestre det bedre

  • Nyheter, Pluss

Magasinet Psykisk helse legges ned etter 30 år: – Kjempealvorlig

  • Nyheter, Pluss

Emosjonalitet til side

  • Ytringer

Utbrenthet kommer i mange varianter

  • Nyheter, Pluss

Når volden ikke kan ses – og smerten ikke blir trodd

  • Ytringer

Fire av fem jenter mener sosiale medier forstyrrer synet på eget utseende

  • Nyheter, Pluss

Den omdiskuterte barneloven er nå vedtatt i Stortinget

  • Nyheter, Pluss

«This is Tel Aviv calling»: Når propagandamaskinen kverner

  • Ytringer

Et forhold preget av narsissisme setter dype spor

  • Nyheter, Pluss

Når barnets beste blir et argument mot likestilt foreldreskap. En kritisk lesning av høringsuttalelser

  • Ytringer

Innvandrerbarn og lengselen etter et symbolsk hjem

  • Ytringer

Ledere kan masse – men lite om det aller viktigste, mener ledelsesekspert

  • Arbeidsliv, Nyheter, Pluss

Bak bjellen: Kan vi være psykologer uten Ivan Pavlovs vitenskapelige arv?

  • Ytringer

Mange kvinner lever med store smerter i årevis uten å få svar

  • Nyheter, Pluss

Visse personlighetstrekk gjør det vanskeligere å sovne

  • Nyheter, Pluss

Mest lest

– Den vanligste personlighets­forstyrrelsen er lettest å overse

    Visse livsstiler øker faren for demens betraktelig

      – Psykisk vold dreper kjærlighet

        Gaslighting: – En ondskapsfull teknikk for å ta kontroll over et annet menneske

          Slik utnytter narsissisten din emosjonelle intelligens

            Sinte voksne barn

              Oppdaget mulig årsak til emosjonelt ustabil personlighets­forstyrrelse

                Nevroforsker om ADHD-diagnosen: – Det er ikke en enhetlig tilstand

                  Dette skjer med oss når vi opplever det mystiske fenomenet dissosiasjon

                    En bestemt oppførsel hos barn kan være tegn på senere angstlidelse

                      Hva skal til for å komme over et traume?

                        Dette er den skjulte formen for narsissisme

                          Slik er kjærlighetslivet med en narsissist

                            De tre søylene for god psykisk helse

                              Pia la om kostholdet og ble kvitt angsten

                                Tegnene på at du sliter med kronisk stress

                                  Med én enkel påstand kan du nå avsløre om noen lyver

                                    Tre faktorer kan svært presist forutsi psykiske lidelser

                                      Nye følelsesfunn i dypet av høysensitive hjerner

                                        Narsissisme – kan du holde ut?

                                          Hvorfor er det så vanskelig å gjøre det slutt?

                                            Noen personlighetstrekk beskytter mot demens – andre øker faren

                                              Emosjonelt intelligente foreldre blir oftere utbrent, antyder ny studie. Det kan skade foreldreevnen deres, mener forskerne

                                                Er du et A- eller B-menneske? Det henger sammen med personligheten din

                                                  Meld deg på nyhetsbrev fra Psykologisk.no

                                                  • Psykologisk.no AS​
                                                    C. J. Hambros plass 5
                                                    0164 Oslo
                                                    912 389 782 MVA
                                                  • Tips oss
                                                  • Kundeservice
                                                  • Skriv innlegg
                                                  • Bli annonsør
                                                  • Redaksjon
                                                  • Personvern
                                                  • Ansvarlig redaktør
                                                    Pål Johan Karlsen
                                                  • Nyhetsredaktør
                                                    Jonas Hartford Sundquist
                                                  • Administrasjons­sjef
                                                    Vera Thorvarsdottir
                                                  Facebook-f Twitter Linkedin

                                                  Psykologisk.no er medlem av Mediebedriftenes Landsforening og Fagpressen, og arbeider etter Vær Varsom-plakatens regler for god presseskikk.

                                                  Kopibeskyttet © 2025