En original idé klekket ut på et hjemmekontor under pandemien førte til et samarbeid mellom tre erfarne forskere. Vi har tallfestet at psykologien ikke har hatt noen framgang de siste 60 årene, og vi forklarer hvorfor. Undersøkelsen ble publisert i Frontiers in Psychology den 21. desember 2022, og dette er et kort sammendrag av funnene og historien bak dem.
En av oss, Geir Smedslund, har lang erfaring med oppsummering av kunnskap i systematiske oversikter. Dette var antagelig medvirkende til at han fikk idéen til å tallfeste psykologiens evne til å forutsi sammenhengen mellom fagets vitenskapelige begreper.
Over 60 år uten endring
Vår undersøkelse startet med en gjennomgang av 70 år med vitenskapelige publikasjoner innen psykologien. Vi fant 1565 artikler som passet våre kriterier. Vi ekskluderte artikler som så ut til å handle om for eksempel psykosomatikk og hjerneforskning, da dette ikke er ren psykologi.
Det må med en gang presiseres at vi, med psykologi, mener det som eksisterer for personer. Det vi som personer alle har felles, er blant annet at vi har oppfatninger, følelser, og ønsker, og at våre handlinger er et resultat av disse oppfatningene, følelsene og ønskene. Alle tar også for gitt at andre personer har oppfatninger, følelser og ønsker og at de også handler ut fra disse.
Resultatene viser at det faktisk ikke har vært noen endring i forklart varians i tidsperioden 1956 til 2022. Den gjennomsnittlige forklarte varians har ligget konstant på omtrent 42 prosent.
Sagt litt brutalt vil en forklart varians på 42 prosent gjøre at man gjetter feil i mer enn halvparten av tilfellene der kunnskapen anvendes.
Dette betyr at psykologien ikke har greid å lage noen nye teorier som kan forklare menneskers atferd særlig presist i løpet av de siste tiårene. I naturvitenskapene vil man for eksempel kunne forvente forklart varians på over 90 prosent. Innenfor psykologien er det derimot normalt at man ikke kan forklare mesteparten av det man studerer.
Les mer om hvordan studien ble gjennomført nederst i saken.
Dette er antakelig et litt sårt tema for psykologer. Fram til 1970-tallet var psykologien opptatt av å løfte fram teorier som ga stor forklaringsverdi. I tiårene som har gått, har man snakket stadig mindre om dette og i stedet nøyd seg med å publisere studier med små avgrensede funn som «støtter» teorier men som ikke gir dem noen stor forklaringsverdi.
Møtt med taushet og ignoranse
To av forfatterne, far og sønn Smedslund, Jan og Geir, har i flere tiår vært enige om at psykologien ikke er, og ikke kan være, en empirisk vitenskap. Jan, som publiserte sin første internasjonale forskningsartikkel i 1953, har vært vitne til hvordan psykologien har kommet til kort i å etablere teorier med høy forklaringsverdi.
Jan og Geir har i flere publikasjoner forklart hvordan psykologien bør skille mellom to former for sannhet i psykologien:
1. Det vi må ta for gitt, fordi sannheten følger av språket. Slik kunnskap er gitt på forhånd, for eksempel at folk som blir overrasket har opplevd noe uventet.
2. Empirisk kunnskap som vi må undersøke for å finne ut av, men som er veldig kontekstavhengig og skiftende, som for eksempel hvordan folk vil reagere på ordre fra en autoritetsperson i hvit frakk.
Smedslund og Smedslunds tanker har egentlig aldri blitt motbevist, men har vært møtt med taushet og blitt ignorert i mainstream-psykologien. De fleste synes å ha tenkt at Smedslundene får mene det de mener, men vi har ikke tenkt å ta det inn over oss.
I mellomtiden har psykologien riktignok gått inn i noe som kalles «replikasjonskrisen», ved at aksepterte psykologiske forskningsresultater er veldig vanskelige å dokumentere ved repeterte forsøk. Som Jan har pleid å påpeke, så er kontekstene alltid i endring og dermed resultatene i forskningen også.
Vi vet hva folk svarer før spørsmålet stilles
Like før pandemien kom vi alle tre i kontakt. Arnulf hadde i flere år publisert artikler hvor han brukte digitale språkalgoritmer kalt Latent Semantisk Analyse (LSA) for å utforske sammenhengene i psykologisk forskning. I psykologisk sammenheng er denne teknologien ganske ny, bare et par tiår gammel. Fram til nå har den vært lite brukt i psykologien, men den er en del av grunnlaget for kunstig intelligens.
Denne forskningen kan blant annet undersøke og regne på holdbarheten til Smedslunds argumenter. Jan Ketil oppdaget at man kan bruke språkalgoritmene til å forutsi de statistiske sammenhengene i spørreskjemaer – før man i det hele tatt har spurt noen.
Akkurat slik Jan hadde argumentert siden 1980-tallet ville det være mulig å forutsi utfallet av denne typen forskning ved hjelp av ren språkanalyse, og uten å vite noe om menneskene som svarer. Og her er faktisk den forklarte variansen skyhøy.
Plenen blir våt når det regner
Ved bruk av LSA kunne han forklare nesten 90 prosent av statistikken i svarene på spørreskjemaene. Her har vi med andre ord å gjøre med en metode som gir langt større forklaringskraft enn psykologisk forskning ellers. Dette fanget oppmerksomheten til far og sønn Smedslund.
Tekstalgoritmer har lenge vært et område for spesielt interesserte, men i løpet av siste halvår har offentligheten blitt fascinert av chat-roboten ChatGPT, som er en spesielt kraftig versjon av denne typen teknologi.
Fellesnevneren ved ChatGPT og LSA er at de «lærer» språk gjennom å bli eksponert for hundretusener av dokumenter. På den måten danner de en matematisk representasjon av hva ord og uttrykk betyr. Dermed kan man bruke teknologien til å beregne hva som følger av utsagn i språket, slik Jan har snakket om i mange år.
For eksempel vil LSA lett oppdage at når det regner, vil det bli vått på plenen. Siden vi kan beregne dette på forhånd blir det vanskeligere for psykologien å avfeie dette dersom vi kan gjenta forskningsresultater uten å bruke forsøkspersoner.
Hva forskes det på?
Det virker som om psykologisk forskning er fanget mellom tre grenser for hva vi vil forske på. Helt opplagte sammenhenger, som at ungkarer ikke har giftet seg, vil vi ikke forske på (men der ville forklaringsverdien vært veldig høy).
Veldig usannsynlige sammenhenger er det heller ingen som tar for seg. I stedet ser det ut som om psykologisk forskning sikter mot sammenhenger som vi lurer litt på – det vil si at vi tenker oss en sammenheng. Så viser algoritmene at akkurat denne sammenhengen som vi aner er produsert av semantikken i språket.
Det er derfor algoritmene er gode til å gjette på statistikken i forskningsresultater før de foreligger. Og det er selvsagt også derfor kunstig intelligens som ChatGPT kan lage forbløffende presise svar på det du lurer på.
Kilden til replikasjonskrisen
Så hva betyr dette for psykologisk forskning og teori? Den lave forklaringsprosenten i forskning har vært et tema siden 1879. Da gjorde Hermann Ebbinghaus det første og eneste naturvitenskapelig orienterte eksperimentet på ett menneske (seg selv) for å lete etter universelle psykologiske lover.
Han måtte slå fast at læring og glemsel ikke kunne forutsies presist hos enkeltpersoner, det var for mange kontekster som ville spille inn. Etter Ebbinghaus, sluttet psykologer stilltiende med å studere enkeltpersoner og beveget seg over til å studere gruppegjennomsnitt. Omtrent samtidig gav de opp å finne årsaks-virkningsforhold.
Psykologer har aldri laget nøyaktige hypoteser slik de gjør i naturvitenskapene, der resultatene må falle innenfor et smalt intervall for at hypotesen ikke skal bli forkastet. I stedet har psykologene nøyd seg med å formulere teorier av mindre omfang, som oftest testes med såkalt «signifikanstesting». Her søker man egentlig bare å fastslå at sammenhenger er forskjellige fra null og nøyer seg med ganske lave nivåer av forklart varians.
I dette ligger kilden til replikasjonskrisen i psykologien, fordi det alltid vil kunne opptre kontekster som gjør at resultatene bli annerledes. Som tidligere nevnt vil det føre til at man tar feil over halvparten av gangene man bruker kunnskapen.
Men omvendt kan vi si at mennesker har ganske god kontroll på sine sosiale omgivelser, i den forstand at våre språklige konstruksjoner vil forklare omkring 42 prosent av forventet variasjon.
Glasset er med andre ord halvtomt eller halvfullt, alt ettersom hvordan man ser det. Vi må huske på at semantiske sammenhenger ikke er feil, de er tvert imot automatisk sanne eller sannsynlige.
«Psyko-logikk»
Det som imidlertid ser ut til å være uvanlig forutsigbart er folks evne til å forstå språk, ellers ville ikke algoritmene kunnet spå så presist. Algoritmene har på den måten avdekket en av de få skikkelig systematiske sidene ved menneskets psykologi.
Og tallet 42 prosent kan kanskje også opplyse oss om en annen merkverdighet i psykologien: Dette ser ut til å være en slags horisont for vår evne til å forstå at sammenhenger er semantiske.
Senest når sammenhengene blir såpass svake slutter vi å være enige om hva utfallet blir, og vi blir fristet til å lage en empirisk undersøkelse – som igjen ikke kommer tilbake med så mye annet enn det som er gitt i språket, men nå er resultatet kommet fram gjennom at vi har testet det på et utvalg forsøkspersoner.
Akkurat dette kan også si litt om forfatternes ulike erfaringer med hvordan våre forskningsfunn har blitt mottatt og fortolket. Jan Smedslund har i mange år forsøkt å skape interesse for et formelt system for å beskrive psykologiske sammenhenger i språk, kalt «psyko-logikk». Han kan ha vært litt tidlig ute, foruten en teknologi til å hjelpe seg med, kan det bli vanskelig for folk å følge sammenhengen og enes om konklusjonene.
Jan er for sin del ganske sikker på at psykologien ikke kan bli en empirisk vitenskap, nettopp fordi det finnes et uendelig antall kontekster som gir ny og uforutsett mening til en psykologisk påstand.
Han mener at vårt naturlige språk allerede har latt oss komme så langt som det er mulig, for eksempel kan to personer i Norge avtale å møtes langt borte et annet sted, for eksempel i resepsjonen på et nærmere angitt hotell i Kuala Lumpur 25. mars klokken 19 lokal tid. Dersom de to personene har «tillit» til hverandre så betyr dette nettopp at de med god grunn kan forutse at det kommer til å hende.
En ny retning for psykologien?
Vi funderer på om det finnes andre muligheter for å formulere mer presise gjetninger i psykologien. For eksempel gjør vi oss forutsigbare for andre ved å lage regler for atferd, for eksempel trafikkregler, og ved å gjøre avtaler som den ovenfor.
Mennesket ser ut til å ha et system for å lage sosiale konstruksjoner som gjør avtaler mer forutsigbare, for eksempel innen vennskap, jus og forretningsliv. Og i sin tur vil disse sosiale konstruksjonene henge sammen med vår språklige evne til å formulere og forstå ønsker, påstander og kontrakter.
Det er nettopp denne evnen som algoritmene og kunstig intelligens knytter seg opp til, og som for tiden forbløffer samfunnet gjennom å blande seg inn i vår offentlige samtale i skoler og medier.
Vårt poeng er at man må se språket, ikke bare se gjennom det. Dermed kan vi forstå hvordan vi er i stand til å manøvrere gjennom et uendelig antall skiftende kontekster med et språklig instrument som er så presist at vi kan lage maskiner av det.
Vi er spente på om dette kan gi en ny retning til psykologiens selvforståelse som vitenskap, og kanskje også knytte den nærmere til sitt nevrobiologiske grunnlag.
Slik gjorde vi det
For å undersøke og tallfeste psykologiens evne til å forutsi sammenhenger, måtte vi ha et mål som kunne brukes på tvers av alle fagområder. Valget falt på forklart varians.
Dette er et begrep som måler hvor mye man kan forutsi av det man har tenkt å studere. Man kan si at jo høyere forklart varians, jo bedre teoretisk forståelse har man av det man studerer. I praksis er forklart varians en kvadrert korrelasjon – hvis en korrelasjon er for eksempel 0,5, blir forklart varians 0,5 x 0,5 = 0,25, eller 25 prosent.
Videre trengte vi en stor datamengde for å øke overbevisningskraften i argumentet. Vi gjorde en systematisk oversikt i PsycINFO, referansedatabasen for psykologi, med over 4 millioner referanser. Søket resulterte i 1565 artikler, og for hver artikkel hentet vi ut ett tall for forklart varians som forskerne rapporterte.
Etter å ha innhentet alle dataene, plottet vi det i et punktdiagram med publikasjonsår på x-aksen og forklart varians på y-aksen, slik det framgår av Figur 1:
FIGUR 1: Forklart varians i 1565 artikler i PsycINFO fordelt på publikasjonsår.
Figur 1 viser at det faktisk ikke har vært noen endring i forklart varians i tidsperioden 1956 til 2022. Den gjennomsnittlige forklarte varians har ligget konstant på omtrent 42 prosent.
Jan og Geir spurte Jan Ketil om det ville være mulig å bruke semantikk til å forklare hvorfor psykologiske forskningsresultater har en konstant forklaringsverdi, og om hvorfor denne er nødt til å være akkurat 42 prosent.
Akkurat tallet 42 prosent ser ut til å være et resultat av standardene innenfor faktoranalyse, en mye brukt statistisk teknikk. Denne teknikken krever at variablene man undersøker ikke kan ha en sterk sammenheng. For den statistisk interesserte kan vi si at dersom man deler såkalte kryssladninger på faktorladninger, ser de ut til å sikte inn mot 42 prosent.
FIGUR 2: Semantiske sammenhenger fordelt på årstall mellom begreper i 50 tilfeldig utvalgte artikler fra de opprinnelige 1565.
Vi kan se hvordan dette fungerer i de 50 tilfeldig valgte artiklene som lot seg reprodusere i figur 2. Forskjellen mellom våre to figurer er at mens figur 1 er basert på tallene som forfatterne selv har oppgitt, er figur 2 basert på rene semantiske sammenhenger hentet fra LSA.
Etter å ha rekonstruert 50 av de 1565 artiklene som Geir hadde funnet, var svaret nokså entydig: Sett med semantiske øyne kan mye psykologisk forskning karakteriseres som kunsten å si det samme om igjen, men med litt forskjellige ord.