Forskning.no har laget en artikkelserie der de retter et kritisk søkelys mot psykologisk behandling. Det må de for all del gjøre, og mye av det de skriver er både interessant og nyttig.
Når det kommer til spørsmålet om hvor stor effekt psykologisk behandling generelt har, samt hvorvidt noen blir verre etter å ha gått i behandling, blir ting rotete, på samme måte som vi har sett i flere andre medier den siste tiden.
Vi ønsker med dette å rydde opp i noen misforståelser som vi ser gjentar seg.
Mer folkeforvirring enn folkeopplysning
Det har vært relativt høy konsensus innenfor behandlingsforskning over tid rundt at psykologisk behandling overordnet viser moderate til høye effektstørrelser. Dette er i tråd med hva Ole André Solbakken presenterer hos Forskning.no. Så dukker Joar Halvorsen opp, først i Folkeopplysningen og nå på Forskning.no, og sier at den egentlige effekten er mye lavere enn dette.
Halvorsen sier videre at dette handler om at studiene han refererer til har «høyere kvalitet», og at det er resultatene fra disse vi må stole på. Dette kan jo høres overbevisende ut, og det stemmer også at lav studiekvalitet kan gi noe oppblåste resultater for psykologisk behandling. Seere og lesere får imidlertid aldri høre om den mest opplagte årsaken til at tallene som presenteres er så ulike. Dette handler om at de utgjør svar på to forskjellige spørsmål. Her må vi bli litt tekniske:
Effektstørrelse omhandler, som navnet røper, hvor stor en gitt effekt er. «Numbers needed to treat (NNT)» er en slags omskriving av dette igjen. For å kunne beregne slike tall så må man gjøre en sammenligning. Størrelsen på forskjellen, eller «effekten», vi ender opp med, vil da naturlig nok avhenge av hva man velger å sammenligne.
En sammenligning med en passiv kontrollbetingelse (som «ingen behandling» eller «venteliste») gir oss svar på hvor mye bedre en gruppe behandlede pasienter blir enn en gruppe som ikke får behandling (kontrollert for effekt av tid eller naturlig tilfriskning). Dette kan kalles total eller absolutt effekt.
En sammenligning med en aktiv kontrollbetingelse (som «vanlig behandling») gir oss på den andre siden svar på hvor mye bedre gruppen man studerer blir enn en gruppe som får en annen form for (mer eller mindre) virksom behandling. Dette kan da kalles relativ effekt. Det sier seg selv at det første tallet vil bli større enn det siste.
Dette er verken et problem eller en nyhet. I noen tilfeller kan vi være mest opptatt av absolutt effekt, og i andre av relativ effekt. Hvilke kontrollbetingelser som i ethvert tilfelle er mest adekvate, kommer an på praktiske forhold og hvilket spørsmål vi forsøker å besvare.
Skal en ny behandling erstatte etablert virksom behandling, bør den nye kunne vise til å være minst like god som den gamle. Den relative forskjellen mellom den nye og den gamle behandlingen forblir imidlertid noe annet enn størrelsen på den totale (absolutte) effekten av den nye behandlingen, sammenlignet med ingen behandling. Både absolutte og relative effekter kan være viktige og interessante, men de bør altså ikke forveksles med hverandre.
Det som da blir essensielt når en effektstørrelse eller et NNT-tall presenteres, er å gi tilstrekkelig kontekstuell informasjon til at lesere kan forstå hva tallet man velger å vise til faktisk betyr. Effektstørrelser på 0,2–0,3 og NNT-tall rundt syv dukket altså opp i norske medier, først i Folkeopplysningen, så i Dagsnytt 18, og nå på Forskning.no.
I Folkeopplysningen ble tallene presentert med direkte feil kontekst. Mens disse tallene egentlig viser til relative effekter fra sammenligninger med nokså aktive kontrollbetingelser («vanlig behandling»), ble de her, og senere i Dagsnytt 18, presentert som om de representerte absolutt effekt basert på sammenligning med passive kontrollbetingelser («ingen behandling»). Dette ligner mer på folkeforvirring enn folkeopplysning. Hos Forskning.no blir tallene heller hengende i løse luften, uten tilstrekkelig forklaring eller kontekst.
Vi kan nevne at det er blitt gjort nye analyser av studiene som de lave effektstørrelsene hentes fra, og hva som skjer dersom man isolert sammenligninger betingelsene som best egner seg for å estimere størrelsen av absolutt effekt. Kjedelig nok ser vi da at resultatene ender opp nokså likt de vi er vant til å operere med fra den massive forskningslitteraturen som allerede foreligger.
Dermed kan en god del av det som ved første øyekast virker som en spennende faglig uenighet heller forklares av utilstrekkelig kontekstuell informasjon rundt tallene som blir presentert.
Ingen grunn til å gi avkall på presisjon
Forskning.no gjentok også en annen misforståelse, som vi tidligere har sett i blant annet Dagsnytt 18. Dette gjelder dataene som Jørgen Flor legger frem om pasienter som blir verre etter psykologisk behandling. En kan tolke forskningslitteraturen her som å støtte opp om at fem til ti prosent er et sannsynlig estimat på dette fenomenet.
Det skjer imidlertid også her noe på veien til norske medier. Mens originallitteraturen sier at fem til ti prosent blir verre etter behandling, blir dette først i Dagsnytt 18 og senere på Forskning.no presentert som at fem til ti prosent blir verre av behandling. Denne omskrivingen endrer opplagt på betydningen. Når fem til ti prosent er verre etter behandling, kan det da være mange ulike årsaker til dette, hvor behandling som direkte årsak (noe «av» formuleringen impliserer) kun er én av mange.
Det er for all del viktig å snakke om negative og eventuelle svake effekter av psykologisk behandling, men vi ser ingen grunn til å gi avkall på presisjon når vi behandler disse temaene. Det er viktig å beholde kritisk sans også i møte med negative påstander.
Når det gjelder spørsmålet om negative effekter kan mye forbedres ved å strekke seg mot å benytte et presist nok språk til at formuleringer ikke endrer budskapets innhold. Forskning.no har her også rettet opp på nevnte formuleringer i ettertid, kudos til dem for det. Med tanke på spørsmålet om effektstørrelser så kan det se ut som utydelig og ufullstendig kommunikasjon av resultater kan ha skapt unødig forvirring. Vi vil for fremtiden foreslå en tosidig løsning på sistnevnte.
Fagfolk bør tilstrebe å oppgi (riktig) sammenligningsbetingelse hver gang de presenterer en effektstørrelse, og journalister bør spørre mer om hva som faktisk ligger bak kryptiske effektstørrelses- eller NNT-tall som blir presentert for dem.
Dette gjelder bredt, men ikke minst når det presenteres tall som bryter med forskningskonsensus innen et fagfelt. Av og til er det nemlig helt naturlige forklaringer på tilsynelatende rare resultater.
Jørgen Flor svarer, les her: Jeg er trygg på at jeg vet forskjellen på korrelasjon og kausalitet