• Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
Meny
  • Nyheter
    • Pluss-innhold
    • Arbeidsliv
    • Psykologi-folk
    • Nye bøker
    • Podkaster og videoer
      • Pia og psyken
      • Psykologlunsj
      • Psykologisk salong
      • Videoer
  • Ideer
    • Ytringer
    • Bokutdrag
    • Spalter
      • Forebygg depresjon med Arne Holte
      • Fra terapirommet med Kirsti Jareg
      • Hverdagspsykologi med Eirik Hørthe
      • Kjærleik & liv med Anne Marie Fosse Teigen
      • Kritisk tenkning med Torstein Låg
      • Menneskets natur med Leif Edward Ottesen Kennair
      • Gutta fra Psykologlunsj
      • Månedens klassiker
  • Aktiviteter
  • Stillinger
  • Bli abonnent
  • Kontakt oss
    • Vil du annonsere?
    • Send innlegg
    • Ansatte
Søk
Lukk
Kritisk tenkning med Torstein Låg

Dødsårsak: For dårlig litteratursøk?

Selektiv rapportering av forsknings­resultater kan få alvorlige følger for oss alle, skriver Torstein Låg.

LITTERATURSØK: Å oppsummere forskning er en krevende kunst. Å fullføre setningen «Forskning viser at …» med et innhold vi kan feste lit til, krever mer enn et raskt blikk på de lettest tilgjengelige forsknings­artiklene, skriver Torstein Låg. Illustrasjonsfoto: MattysFlicks / Flickr.

Torstein Låg

Sist oppdatert: 03.05.17  |  Publisert: 02.05.17

Forfatterinfo

Torstein Låg

Torstein Låg er fagansvarlig for psykologi, psykiatri og filosofi på Universitetsbiblioteket ved UiT Norges arktiske universitet. Han er utdannet psykolog og har doktorgrad i kognitiv psykologi. De faglige interessene hans favner vidt, men ofte knytter de seg til hvordan vi forstår, misforstår, bruker og misbruker informasjon.

Den andre juni 2001 dør 24 år gamle Ellen Roche på et sykehus i Baltimore. Årsaken var dårlige litteratursøk.

De dårlige litteratursøkene var selvsagt ikke den direkte årsaken til tragedien – det var det ødelagte lunger, fallende blodtrykk og sviktende nyrer som var – men indirekte bidro de til at hun mistet livet (se Savulescu & Spriggs, 2002).

Omtrent en måned tidligere deltok Roche som frivillig i en studie hvor formålet var å få bedre innsikt i en refleks som beskytter mot astma. Som en del av prosedyren pustet Roche inn medikamentet hexamethonium for å fremprovosere et mildt astmaanfall. Forskeren som ledet studien, antok at prosedyren var trygg, og den interne etiske komiteen ved Johns Hopkins University gikk god for denne vurderingen.

Grunnlaget for antakelsen var at litteraturen forskeren baserte seg på, ikke ga noen indikasjon på at inhalasjon av hexamethonium var farlig. Forskeren hadde gjort enkle søk i databasen PubMed og konsultert noen lærebokverk på området. Litteraturen han fanget opp, var ufullstendig, og han gikk dermed glipp av viktige funn som ville avkreftet antakelsen.

Når enkeltstudier tillegges for mye vekt

Tragedien ved Johns Hopkins er et slående eksempel på at den mest komplette og pålitelige kunnskapen er den som bygger på all den relevante forskningen. Johns Hopkins-forskeren feilet i en av de viktigste teknikkene i forskningsoppsummeringens edle, men krevende kunst: å finne fram til alle studier som relevante for den problemstillingen som skal belyses.

Enkeltstudier er viktige og helt nødvendige, men de er viktige først og fremst som brikker i et komplekst puslespill. De kan gi hint om hva motivet er, men hver for seg gir de bare ufullstendige, og noen ganger feilaktige, inntrykk. Det er først når brikkene er samlet sammen og hektet ihop at vi kan være noenlunde sikre på at vi vet hva det er vi ser på. Derfor er det et problem at enkeltstudier tillegges for mye vekt når vi skal danne oss et bilde av virkeligheten.

Tendensen til å fremheve resultatene av enkeltstudier er spesielt tydelig og problematisk når forskning formidles til et større publikum i nyhetsmedier. For å fortjene plass i nyhetsspaltene, bør resultatene helst være iøynefallende og lettfattelige – gjerne av typen «X er bra/dårlig for deg» eller «kvinner/menn er mer slik eller sånn». Traust, grundig og solid forskning, som ikke legger skjul på verken usikkerhet eller kompleksitet, blir kanskje litt for usexy. Dette er problematisk fordi iøynefallende og lettfattelige forskningsresultater ofte ikke lar seg bekrefte i senere studier (se f.eks. Dumas-Mallet, Smith, Boraud & Gonon, 2017).

Hvordan kan det ha seg? Jo, når et nytt forskningsspørsmål undersøkes for første gang, så går man gjerne litt forsiktig ut. En liten studie, kanskje, for å se om der kan være noe her. Ofte er det ikke det, og da blir gjerne resultatene liggende i en skuff eller folder, og ingen andre enn forskeren selv får vite at hypotesen ikke fikk støtte. Men så er det jo sånn da, at i en komplisert og uoversiktlig verden så er det mange ting som kan påvirke et forskningsresultat. De fleste av dem har vi ikke kontroll over. Dermed vil en og annen slik liten, utprøvende studie tilfeldigvis råke til å gi resultater som kan se ut som om de bekrefter hypotesen. Da øker sannsynligheten for at det publiseres en forskningsrapport i et høystatustidsskrift.

Dette er noe av dynamikken i fenomenet som kalles for publikasjonsskjevhet (eng. «publication bias»). Publikasjonsskjevhet bidrar til å forklare hvorfor det er så farlig å selektivt basere seg på den litteraturen som er lettest tilgjengelig. Og når nyhetsmediene videreformidler slike resultater, så forsterkes problemene med publikasjonsskjevheter. Det kan få både forskere, som jo også leser nyheter, og alle oss andre til å feste lit til påstander om verden som senere viser seg å være uriktige. Det er uheldig i en tid hvor tilliten til forskning og vitenskap er under press og hvor både forskere og forskningsresultater blir utsatt for populistiske angrep.

Selektiv publisering

Medieoppstyret rundt forskningen på såkalt maktposering (eng. «power posing») er et godt eksempel på hvordan et iøynefallende og enkelt forskningsresultat blir bredt formidlet, for senere å vise seg å ha begrenset gyldighet. I den opprinnelige studien (Carney, Cuddy & Yap, 2010), som bare hadde 42 deltakere, fant en forskergruppe fra Columbia University og Harvard Business School resultater som tydet på at dersom man inntok en kroppsstilling som kommuniserer makt (åpne, brede positurer), så påvirker det både hormonnivåer og risikovillighet. Typisk iøynefallende, altså. En senere studie (Ranehill et al., 2015), med lignende metode og flere deltakere (200), klarte ikke finne lignende resultater.

Men debatten rundt maktposeringsforskningen er også et eksempel på den særskilte utfordringen publikasjonsskjevhet utgjør for de som vil gjøre en god forskningsoppsummering. Nylig forsøkte forfatterne av den opprinnelige maktposeringsstudien seg på en slik oppsummering (Carney, Cuddy & Yap, 2015). De viste der til at hele 33 studier som undersøkte virkningene av ekspansive versus sammensunkne kroppspositurer, tydet på at der er en forskjell i tråd med deres opprinnelige hypotese og funn.

33 forskningsrapporter med tilnærmet samme resultat høres unektelig nokså imponerende ut. Men ikke dersom også disse rapportene er et resultat av publikasjonsskjevhet!

På bakgrunn av en nyutviklet analysemetode kalt P-kurving (Simonsohn, Nelson & Simmons, 2014) argumenterer to forskere ved University of Pennsylvania for at maktposeringslitteraturen nettopp er preget av en publiseringsskjevhet som skyldes selektiv rapportering (Simmons & Simonsohn, 2017). Litt forenklet baserer analysen seg på antakelser om hvordan p-verdier fordeler seg i spennet mellom 0,00 og 0,05. Dersom et knippe studier undersøker et virkelig fenomen, en «sann» effektstørrelse, så vil fordelingen av p-verdier fra slutningsstatistiske tester av den være høyrevridd (fordelingen vil ha flere lave p-verdier ned mot 0,01 og 0,00 og relativt sett færre høye p-verdier opp mot 0,04 og 0,05). I motsetning til dette vil fordelingen av p-verdier typiske være flatere dersom studiene de stammer fra, forsøker å avdekke en effekt som ikke er reell.

Hvordan kan det ha seg at så mange studier viser en effekt som ikke finnes?

Hvordan kan det ha seg at så mange studier ser ut til å vise en effekt som ikke finnes? Graden av iøynefallenhet og påfølgende medieoppmerksomhet spiller antakelig en rolle her. Når et overraskende funn får mye oppmerksomhet, så er det mange som hiver seg på og vil studere effekten. Om effekten ikke er reell, så vil de fleste forsøk på å gjenskape den mislykkes. Men dersom det er mange nok som prøver, og dersom forsøkene preges av lav statistisk styrke, så vil tilfeldigheter og publikasjonsskjevhet bidra til at positive resultater likevel dukker opp.
Forskning viser at…

Å anta at vi har det fulle bildet når vi ikke har det, kan få tragiske følger, som i astmastudien ved Johns Hopkins. Det kan også få komiske følger, som i maktposeringsforskningen – bare se for deg de mange tusener næringslivlederspirer rundt om i verden som fåfengt poserer bredbent foran speilet hver morgen i håp om å sikre suksess og fremgang. Følgene av usystematiske og misvisende forskningsoppsummeringer kan imidlertid også være mer subtile og vanskelige å få øye på. Like fullt er de alvorlige, særlig om de bidrar til å undergrave en allerede tynnslitt tillitt til forskning og vitenskap.

Å fullføre setningen «Forskning viser at …» med et innhold vi kan sette noen grad av lit til, krever mer enn bare å kaste et blikk på de lettest tilgjengelige forskningsartiklene. God forsknings­oppsummering krever grundighet og systematikk i arbeidet med å finne fram til all relevant forskning. Og skal det være mulig å få til, så krever det også en villighet til å møte de truslene som lav statistisk styrke, selektiv rapportering og publikasjonsskjevhet utgjør mot gyldigheten av det bildet en oppsummering skal gi oss.

Kilder

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2010). Power posing: Brief nonverbal displays affect neuroendocrine levels and risk tolerance. Psychological Science, 21, 1363–1368. doi:10.1177/0956797610383437

Carney, D. R., Cuddy, A. J. C. & Yap, A. J. (2015). Review and summary of research on the embodied effects of expansive (vs. contractive) nonverbal displays. Psychological Science, 26(5), 657–663. doi:10.1177/0956797614566855

Dumas-Mallet, E., Smith, A., Boraud, T. & Gonon, F. (2017). Poor replication validity of biomedical association studies reported by newspapers. PLoS ONE, 12(2), 1–15. doi:10.1371/journal.pone.0172650

Ranehill, E., Dreber, A., Johannesson, M., Leiberg, S., Sul, S. & Weber, R. A. (2015). Assessing the robustness of power posing. Psychological Science, 26(5), 653–656. doi:10.1177/0956797614553946

Savulescu, J. & Spriggs, M. (2002). The hexamethonium asthma study and the death of a normal volunteer in research. Journal of Medical Ethics, 28, 3–4. doi:10.1136/jme.28.1.3

Simmons, J. P. & Simonsohn, U. (2017). Power posing: P-curving the evidence. Psychological Science (advance online publication). doi:10.1177/0956797616658563

Simonsohn, U., Nelson, L. D. & Simmons, J. P. (2014). P-curve: A key to the file-drawer. Journal of Experimental Psychology: General, 143(2), 534–547. doi:10.1037/a0033242

Siste saker

Da psykologien kom til Norge

  • Pluss, Ukas klassiker

Mistet legeautorisasjonen: – Vil med garanti føre til mer depresjon, rus og illegale hormoner

  • Nyheter, Pluss

Frustrert sykepleier: – Jobber for å leve, lever ikke for å jobbe

  • Nyheter, Pluss

Helse- og omsorgsministeren: – Det vil bli færre ansatte

  • Nyheter, Pluss

La oss knuse myter om spiseforstyrrelser

  • Bokutdrag, Nyheter

Unge samer opplever trakassering og hets. Bunner fordommene i uvitenhet?

  • Nyheter, Pluss

Narsissismens ABC

  • Nyheter, Ytringer

Psykologforeningen: – Utilstrekkelig behandling av pasientene er et stort problem

  • Nyheter, Pluss

Foreslår å kutte behandlinger uten «god nok» dokumentert effekt

  • Nyheter, Pluss

Hva er «den magiske sko-illusjonen»? Og hvorfor fungerer den annerledes for personer med spiseforstyrrelser?

  • Nyheter, Pluss

Studenter som opplever mening i livet, drikker mindre

  • Nyheter, Pluss

Julianne kjemper for mødrene: – Våre behov blir redusert til fordel for grønne tall i budsjettet

  • Nyheter, Pluss

Mest lest

– Den vanligste personlighets­forstyrrelsen er lettest å overse

    Gaslighting: – En ondskapsfull teknikk for å ta kontroll over et annet menneske

      Oppdaget mulig årsak til emosjonelt ustabil personlighets­forstyrrelse

        Visse livsstiler øker faren for demens betraktelig

          Sinte voksne barn

            Nevroforsker om ADHD-diagnosen: – Det er ikke en enhetlig tilstand

              Dette skjer med oss når vi opplever det mystiske fenomenet dissosiasjon

                En bestemt oppførsel hos barn kan være tegn på senere angstlidelse

                  – Psykisk vold dreper kjærlighet

                    Slik utnytter narsissisten din emosjonelle intelligens

                      Pia la om kostholdet og ble kvitt angsten

                        De tre søylene for god psykisk helse

                          Tegnene på at du sliter med kronisk stress

                            Med én enkel påstand kan du nå avsløre om noen lyver

                              Tre faktorer kan svært presist forutsi psykiske lidelser

                                Hva skal til for å komme over et traume?

                                  Nye følelsesfunn i dypet av høysensitive hjerner

                                    Slik er kjærlighetslivet med en narsissist


                                      Redaksjonen anbefaler

                                      Er du blant framtidens prioriterte?

                                      • Gutta fra Psykologlunsj

                                      Dei uskuldige ytringane

                                      • Kjærleik & liv med Anne Marie Fosse Teigen

                                      Familien som depresjons­forebyggende arena

                                      • Forebygg depresjon med Arne Holte

                                      Tør du å hverdags­våge? Nasse Nøff og motet

                                      • Hverdagspsykologi med Eirik Hørthe

                                      Kan vi forebygge depresjon?

                                      • Forebygg depresjon med Arne Holte

                                      Bør vi snu om på undervisningen?

                                      • Kritisk tenkning med Torstein Låg

                                      Mindfulness i en kopp te

                                      • Hverdagspsykologi med Eirik Hørthe

                                      Gjøken og hva den kan lære oss om sex

                                      • Menneskets natur med Leif Edward Ottesen Kennair

                                      Grusomme meg. En bekjennelse om forbudte følelser

                                      • Hverdagspsykologi med Eirik Hørthe

                                      Trygg, avvisende eller overinvolvert? Slik ble teorien om tilknytning til

                                      • Pluss, Ukas klassiker

                                      Sinte voksne barn

                                      • Fra terapirommet med Kirsti Jareg, Pluss

                                      11 filmer om samtaleterapi som alle psykologientusiaster burde se

                                      • Hverdagspsykologi med Eirik Hørthe

                                      Torstein Låg

                                      Torstein Låg er fagansvarlig for psykologi, psykiatri og filosofi på Universitetsbiblioteket ved UiT Norges arktiske universitet. Han er utdannet psykolog og har doktorgrad i kognitiv psykologi. De faglige interessene hans favner vidt, men ofte knytter de seg til hvordan vi forstår, misforstår, bruker og misbruker informasjon.

                                      Meld deg på nyhetsbrev fra Psykologisk.no

                                      • Psykologisk.no AS​
                                        C. J. Hambros plass 5
                                        0164 Oslo
                                        912 389 782 MVA
                                      • Tips oss
                                      • Kundeservice
                                      • Skriv innlegg
                                      • Bli annonsør
                                      • Redaksjon
                                      • Personvern
                                      • Ansvarlig redaktør
                                        Pål Johan Karlsen
                                      • Redaksjonssjef
                                        Jonas Hartford Sundquist
                                      • Markedssjef
                                        Vera Thorvarsdottir
                                      Facebook-f Twitter Linkedin

                                      Psykologisk.no er medlem av Mediebedriftenes Landsforening og arbeider etter Vær varsom-plakatens regler for god presseskikk.

                                      Kopibeskyttet © 2023