• Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
Meny
  • Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
Søk
Close this search box.
Kritisk tenkning med Torstein Låg

Dødsårsak: For dårlig litteratursøk?

Selektiv rapportering av forsknings­resultater kan få alvorlige følger for oss alle, skriver Torstein Låg.

LITTERATURSØK: Å oppsummere forskning er en krevende kunst. Å fullføre setningen «Forskning viser at …» med et innhold vi kan feste lit til, krever mer enn et raskt blikk på de lettest tilgjengelige forsknings­artiklene, skriver Torstein Låg. Illustrasjonsfoto: MattysFlicks / Flickr.

Torstein Låg

Sist oppdatert: 03.05.17  |  Publisert: 02.05.17

Forfatterinfo

Torstein Låg

Torstein Låg er fagansvarlig for psykologi, psykiatri og filosofi på Universitetsbiblioteket ved UiT Norges arktiske universitet. Han er utdannet psykolog og har doktorgrad i kognitiv psykologi. De faglige interessene hans favner vidt, men ofte knytter de seg til hvordan vi forstår, misforstår, bruker og misbruker informasjon.

Den andre juni 2001 dør 24 år gamle Ellen Roche på et sykehus i Baltimore. Årsaken var dårlige litteratursøk.

De dårlige litteratursøkene var selvsagt ikke den direkte årsaken til tragedien – det var det ødelagte lunger, fallende blodtrykk og sviktende nyrer som var – men indirekte bidro de til at hun mistet livet (se Savulescu & Spriggs, 2002).

Omtrent en måned tidligere deltok Roche som frivillig i en studie hvor formålet var å få bedre innsikt i en refleks som beskytter mot astma. Som en del av prosedyren pustet Roche inn medikamentet hexamethonium for å fremprovosere et mildt astmaanfall. Forskeren som ledet studien, antok at prosedyren var trygg, og den interne etiske komiteen ved Johns Hopkins University gikk god for denne vurderingen.

Grunnlaget for antakelsen var at litteraturen forskeren baserte seg på, ikke ga noen indikasjon på at inhalasjon av hexamethonium var farlig. Forskeren hadde gjort enkle søk i databasen PubMed og konsultert noen lærebokverk på området. Litteraturen han fanget opp, var ufullstendig, og han gikk dermed glipp av viktige funn som ville avkreftet antakelsen.

Når enkeltstudier tillegges for mye vekt

Tragedien ved Johns Hopkins er et slående eksempel på at den mest komplette og pålitelige kunnskapen er den som bygger på all den relevante forskningen. Johns Hopkins-forskeren feilet i en av de viktigste teknikkene i forskningsoppsummeringens edle, men krevende kunst: å finne fram til alle studier som relevante for den problemstillingen som skal belyses.

Enkeltstudier er viktige og helt nødvendige, men de er viktige først og fremst som brikker i et komplekst puslespill. De kan gi hint om hva motivet er, men hver for seg gir de bare ufullstendige, og noen ganger feilaktige, inntrykk. Det er først når brikkene er samlet sammen og hektet ihop at vi kan være noenlunde sikre på at vi vet hva det er vi ser på. Derfor er det et problem at enkeltstudier tillegges for mye vekt når vi skal danne oss et bilde av virkeligheten.

Tendensen til å fremheve resultatene av enkeltstudier er spesielt tydelig og problematisk når forskning formidles til et større publikum i nyhetsmedier. For å fortjene plass i nyhetsspaltene, bør resultatene helst være iøynefallende og lettfattelige – gjerne av typen «X er bra/dårlig for deg» eller «kvinner/menn er mer slik eller sånn». Traust, grundig og solid forskning, som ikke legger skjul på verken usikkerhet eller kompleksitet, blir kanskje litt for usexy. Dette er problematisk fordi iøynefallende og lettfattelige forskningsresultater ofte ikke lar seg bekrefte i senere studier (se f.eks. Dumas-Mallet, Smith, Boraud & Gonon, 2017).

Hvordan kan det ha seg? Jo, når et nytt forskningsspørsmål undersøkes for første gang, så går man gjerne litt forsiktig ut. En liten studie, kanskje, for å se om der kan være noe her. Ofte er det ikke det, og da blir gjerne resultatene liggende i en skuff eller folder, og ingen andre enn forskeren selv får vite at hypotesen ikke fikk støtte. Men så er det jo sånn da, at i en komplisert og uoversiktlig verden så er det mange ting som kan påvirke et forskningsresultat. De fleste av dem har vi ikke kontroll over. Dermed vil en og annen slik liten, utprøvende studie tilfeldigvis råke til å gi resultater som kan se ut som om de bekrefter hypotesen. Da øker sannsynligheten for at det publiseres en forskningsrapport i et høystatustidsskrift.

Dette er noe av dynamikken i fenomenet som kalles for publikasjonsskjevhet (eng. «publication bias»). Publikasjonsskjevhet bidrar til å forklare hvorfor det er så farlig å selektivt basere seg på den litteraturen som er lettest tilgjengelig. Og når nyhetsmediene videreformidler slike resultater, så forsterkes problemene med publikasjonsskjevheter. Det kan få både forskere, som jo også leser nyheter, og alle oss andre til å feste lit til påstander om verden som senere viser seg å være uriktige. Det er uheldig i en tid hvor tilliten til forskning og vitenskap er under press og hvor både forskere og forskningsresultater blir utsatt for populistiske angrep.

Selektiv publisering

Medieoppstyret rundt forskningen på såkalt maktposering (eng. «power posing») er et godt eksempel på hvordan et iøynefallende og enkelt forskningsresultat blir bredt formidlet, for senere å vise seg å ha begrenset gyldighet. I den opprinnelige studien (Carney, Cuddy & Yap, 2010), som bare hadde 42 deltakere, fant en forskergruppe fra Columbia University og Harvard Business School resultater som tydet på at dersom man inntok en kroppsstilling som kommuniserer makt (åpne, brede positurer), så påvirker det både hormonnivåer og risikovillighet. Typisk iøynefallende, altså. En senere studie (Ranehill et al., 2015), med lignende metode og flere deltakere (200), klarte ikke finne lignende resultater.

Men debatten rundt maktposeringsforskningen er også et eksempel på den særskilte utfordringen publikasjonsskjevhet utgjør for de som vil gjøre en god forskningsoppsummering. Nylig forsøkte forfatterne av den opprinnelige maktposeringsstudien seg på en slik oppsummering (Carney, Cuddy & Yap, 2015). De viste der til at hele 33 studier som undersøkte virkningene av ekspansive versus sammensunkne kroppspositurer, tydet på at der er en forskjell i tråd med deres opprinnelige hypotese og funn.

33 forskningsrapporter med tilnærmet samme resultat høres unektelig nokså imponerende ut. Men ikke dersom også disse rapportene er et resultat av publikasjonsskjevhet!

På bakgrunn av en nyutviklet analysemetode kalt P-kurving (Simonsohn, Nelson & Simmons, 2014) argumenterer to forskere ved University of Pennsylvania for at maktposeringslitteraturen nettopp er preget av en publiseringsskjevhet som skyldes selektiv rapportering (Simmons & Simonsohn, 2017). Litt forenklet baserer analysen seg på antakelser om hvordan p-verdier fordeler seg i spennet mellom 0,00 og 0,05. Dersom et knippe studier undersøker et virkelig fenomen, en «sann» effektstørrelse, så vil fordelingen av p-verdier fra slutningsstatistiske tester av den være høyrevridd (fordelingen vil ha flere lave p-verdier ned mot 0,01 og 0,00 og relativt sett færre høye p-verdier opp mot 0,04 og 0,05). I motsetning til dette vil fordelingen av p-verdier typiske være flatere dersom studiene de stammer fra, forsøker å avdekke en effekt som ikke er reell.

Hvordan kan det ha seg at så mange studier viser en effekt som ikke finnes?

Hvordan kan det ha seg at så mange studier ser ut til å vise en effekt som ikke finnes? Graden av iøynefallenhet og påfølgende medieoppmerksomhet spiller antakelig en rolle her. Når et overraskende funn får mye oppmerksomhet, så er det mange som hiver seg på og vil studere effekten. Om effekten ikke er reell, så vil de fleste forsøk på å gjenskape den mislykkes. Men dersom det er mange nok som prøver, og dersom forsøkene preges av lav statistisk styrke, så vil tilfeldigheter og publikasjonsskjevhet bidra til at positive resultater likevel dukker opp.
Forskning viser at…

Å anta at vi har det fulle bildet når vi ikke har det, kan få tragiske følger, som i astmastudien ved Johns Hopkins. Det kan også få komiske følger, som i maktposeringsforskningen – bare se for deg de mange tusener næringslivlederspirer rundt om i verden som fåfengt poserer bredbent foran speilet hver morgen i håp om å sikre suksess og fremgang. Følgene av usystematiske og misvisende forskningsoppsummeringer kan imidlertid også være mer subtile og vanskelige å få øye på. Like fullt er de alvorlige, særlig om de bidrar til å undergrave en allerede tynnslitt tillitt til forskning og vitenskap.

Å fullføre setningen «Forskning viser at …» med et innhold vi kan sette noen grad av lit til, krever mer enn bare å kaste et blikk på de lettest tilgjengelige forskningsartiklene. God forsknings­oppsummering krever grundighet og systematikk i arbeidet med å finne fram til all relevant forskning. Og skal det være mulig å få til, så krever det også en villighet til å møte de truslene som lav statistisk styrke, selektiv rapportering og publikasjonsskjevhet utgjør mot gyldigheten av det bildet en oppsummering skal gi oss.

Kilder

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21, 1363–1368. doi:10.1177/0956797610383437

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2015). Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays. Psychological Science, 26(5), 657–663. doi:10.1177/0956797614566855

Dumas-Mallet, E., Smith, A., Boraud, T. & Gonon, F. (2017). Poor replication validity of biomedical association studies reported by newspapers. PLoS ONE, 12(2), 1–15. doi:10.1371/journal.pone.0172650

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S. & Weber, R. A. (2015). Assessing the robustness of power posing. Psychological Science, 26(5), 653–656. doi:10.1177/0956797614553946

Savulescu, J. & Spriggs, M. (2002). The hexamethonium asthma study and the death of a normal volunteer in research. Journal of Medical Ethics, 28, 3–4. doi:10.1136/jme.28.1.3

Simmons, J. P. & Simonsohn, U. (2017). Power posing: P-curving the evidence. Psychological Science (advance online publication). doi:10.1177/0956797616658563

Simonsohn, U., Nelson, L. D. & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. doi:10.1037/a0033242

Redaksjonen anbefaler

Hvorfor utvikler noen unnvikende personlighets­forstyrrelse?

  • Nye bøker, Pluss

ADHD og autisme: – En hvit flekk på terapikartet

  • Nyheter, Pluss

Ønsker mer fokus på det psykologiske aspektet i møte med en pasient

  • Nyheter, Pluss

– Like mye som emosjonelt ustabile personer misforstår andre, misforstår andre dem

  • Nyheter, Pluss

– Noen får mer ut av en økt med pusting, enn ti år med samtaleterapi

  • Nyheter, Pluss

Et hjerte må bæres i et annet hjerte for å vokse seg sterkere

  • Hverdagspsykologi med Eirik Hørthe, Pluss

Er du nevrotisk? Det er ikke alltid en ulempe

  • Nyheter, Pluss

I årevis har han drevet psykedelisk terapi i det skjulte

  • Nyheter, Pluss

Kvinner er oftere «ondsinnet utro» enn menn, ifølge studie

  • Nyheter, Pluss

Hypomani: En langvarig lykke med mørke skyggesider

  • Nyheter, Pluss

Maren ville ikke dø alene. Men telefonen hun ringte til, reddet i stedet livet hennes

  • Nyheter, Pluss

– Behovet for anerkjennelse styrer oss gjennom hele livet

  • Nye bøker, Pluss

Åtte psykologi-filmer du kan nyte i regnværet

  • Nyheter, Pluss

Skillet mellom ungdom og sykdom forsvinner

  • Nyheter, Pluss

Finnes det positive sider ved angst?

  • Nyheter, Pluss

Tillitsbrudd i parforholdet: – Skaper uro, usikkerhet, sorg og sinne

  • Nyheter, Pluss

Bipolar type 1 og 2: Ulike lidelser, men lignende løsninger

  • Nyheter, Pluss

Sanna Sarromaa var fanget i et psykisk voldelig forhold: – Det kan skje den sterkeste

  • Nye bøker, Nyheter, Pluss

Siste saker

Ny medisin mot ALS viser lovende resultat

  • Nyheter, Pluss

Ikke alle som utsettes for traumer, får PTSD. Grunnen kan ligge i hjernen

  • Nyheter, Pluss

De første tegnene på multippel sklerose er ofte psykiske

  • Nyheter, Pluss

– Derfor skal vi unngå å argumentere med personer med demens. De taper verdighet

  • Nyheter, Pluss

Mener systemet legger mye ansvar på de pårørende

  • Nyheter, Pluss

Foreslår forbud mot konverteringsterapi: – Ingen har førsterett på religionsfriheten

  • Nyheter, Pluss

Søker på nytt etter avslag: Mener psykolog-utdanning er sårt tiltrengt i regionen

  • Nyheter, Pluss

Problemet med psykoterapiforskning

  • Ytringer

– Allerede første dag på jobb i psykisk helsevern, innså jeg at systemet måtte endres

  • Nyheter, Pluss

Spilleavhengighet: Hvorfor bruker vi penger vi ikke har?

  • Nyheter, Pluss

Ny kompetanse­tjeneste for endometriose og adenomyose: – En kjempedag for pasientgruppen

  • Nyheter, Pluss

Ny studie fra Villa Sult: Få med spise­forstyrrelser ber om hjelp

  • Nyheter

Mest lest

– Den vanligste personlighets­forstyrrelsen er lettest å overse

    Visse livsstiler øker faren for demens betraktelig

      Gaslighting: – En ondskapsfull teknikk for å ta kontroll over et annet menneske

        Oppdaget mulig årsak til emosjonelt ustabil personlighets­forstyrrelse

          Sinte voksne barn

            – Psykisk vold dreper kjærlighet

              Nevroforsker om ADHD-diagnosen: – Det er ikke en enhetlig tilstand

                Slik utnytter narsissisten din emosjonelle intelligens

                  Dette skjer med oss når vi opplever det mystiske fenomenet dissosiasjon

                    En bestemt oppførsel hos barn kan være tegn på senere angstlidelse

                      Pia la om kostholdet og ble kvitt angsten

                        De tre søylene for god psykisk helse

                          Tegnene på at du sliter med kronisk stress

                            Med én enkel påstand kan du nå avsløre om noen lyver

                              Hva skal til for å komme over et traume?

                                Tre faktorer kan svært presist forutsi psykiske lidelser

                                  Nye følelsesfunn i dypet av høysensitive hjerner

                                    Slik er kjærlighetslivet med en narsissist

                                      Hvorfor er det så vanskelig å gjøre det slutt?

                                        Narsissisme – kan du holde ut?

                                          Dette er den skjulte formen for narsissisme

                                            Er du et A- eller B-menneske? Det henger sammen med personligheten din

                                              Emosjonelt intelligente foreldre blir oftere utbrent, antyder ny studie. Det kan skade foreldreevnen deres, mener forskerne

                                                Visse personlighets­trekk er forbundet med økt risiko for Alzheimers sykdom, ifølge ny metastudie

                                                  Torstein Låg

                                                  Torstein Låg er fagansvarlig for psykologi, psykiatri og filosofi på Universitetsbiblioteket ved UiT Norges arktiske universitet. Han er utdannet psykolog og har doktorgrad i kognitiv psykologi. De faglige interessene hans favner vidt, men ofte knytter de seg til hvordan vi forstår, misforstår, bruker og misbruker informasjon.

                                                  Meld deg på nyhetsbrev fra Psykologisk.no

                                                  • Psykologisk.no AS​
                                                    C. J. Hambros plass 5
                                                    0164 Oslo
                                                    912 389 782 MVA
                                                  • Tips oss
                                                  • Kundeservice
                                                  • Skriv innlegg
                                                  • Bli annonsør
                                                  • Redaksjon
                                                  • Personvern
                                                  • Ansvarlig redaktør
                                                    Pål Johan Karlsen
                                                  • Redaksjonssjef
                                                    Jonas Hartford Sundquist
                                                  • Administrasjons­sjef
                                                    Vera Thorvarsdottir
                                                  Facebook-f Twitter Linkedin

                                                  Psykologisk.no er medlem av Mediebedriftenes Landsforening og Fagpressen, og arbeider etter Vær Varsom-plakatens regler for god presseskikk.

                                                  Kopibeskyttet © 2023