Fire forskere i organisasjonspsykologi og informatikk ved Handelshøyskolen BI, University of Colorado og University of Malaysia stiller seg skeptiske til en fundamental antakelse innenfor ledelsesforskningen, nemlig at spørreundersøkelser gir oss ny kunnskap.

Jan Ketil Arnulf, Kai Rune Larsen, Øyvind Lund Martinsen og Chih How Bong mistenker at noen av de mest brukte spørreskjemaene i samfunnsvitenskapene er utformet slik at konklusjonene kan forutses allerede før man har samlet inn data. De fire forskerne kritiserer sitt eget fagfelt i en kronikk og en vitenskapelig artikkel som i dag publiseres i Scandinavian Psychologist.

Samfunnsvitenskapelig og psykologisk forskning bygger ofte på innsamlede data fra spørreundersøkelser. Her svarer en gruppe mennesker på spørsmål om egne holdninger, tanker eller atferd. De svarer ja eller nei, eller 1, 2, 3, 4, 5 for å angi grader av enighet eller uenighet i påstanden – for eksempel om man liker sjefen, og hva slags egenskaper hun eller han har.

Data fra slike undersøkelser gjør det mulig å se etter statistisk samvariasjon – systematiske sammenhenger i de innsamlede svarene. I så fall ønsker forskerne å identifisere de underliggende årsakene som forklarer disse sammenhengene, for eksempel hva som gir god ledelse. At vi under visse forutsetninger kan identifisere statistiske sammenhenger i virvaret av tilfeldigheter og statistisk «støy», er en antakelse som ligger til grunn for store deler av kunnskapen vi har fra moderne samfunnsvitenskapelig forskning.

Svarene farges av språket

Jan Ketil Arnulf og kolleger mener at studiene deres sår tvil om gyldigheten av denne fundamentale antakelsen. Rett og slett fordi de ulike testleddene i spørreskjemaene ofte måler det samme språklige meningsinnholdet. De fire forskerne hevder at mange forskningsresultater om statistiske sammenhenger reflekterer nødvendige språklige sammenhenger – semantiske kvaliteter – ved testleddene.

I Scandinavian Psychologist beskriver Jan Ketil Arnulf og Kai Rune Larsen hvordan de ved hjelp av lingvistiske algoritmer undersøkte om det var felles meningsinnhold i testledd fra en rekke spørreskjemaer som brukes i ledelsesforskningen – altså om ord som for eksempel heltemot og lederskap betyr mer eller mindre det samme.

De melder om tre funn:

For det første er det semantisk overlapping i testledd om lederskap og heltemot, slik at folk flest blander begrepene. På grunn av det sammenfallende meningsinnholdet i testleddene kunne forskerne forutsi 60–80 % av variansen i svarmønstre.

– Det betyr at vi tydeligvis ikke kan snakke om god ledelse uten å ta i bruk de samme begrepene og forestillingene som vi har når vi snakker om helter, sier Jan Ketil Arnulf.

– Dette funnet er både litt morsomt og litt skummelt. Det tyder nemlig på at folk uten å tenke over det kan gå rundt med nokså overdrevne forestillinger om ledere. Dermed bekrefter ledelsesforskningen illusjonen mange viser seg å ha om lederen. I andre deler av ledelsesforskningen har man lenge advart om at et sånt «heroisk» syn på ledelse kan dekke over mer modne og avanserte forestillinger om hva ledelse er og hva ledere gjør. Ledelse er nok mye mer av et gruppefenomen enn folk tenker seg.

– Individuelle ledere blir fort til symbolfigurer for noe som grupper av mennesker presterer. Det kan se ut til at dette er en kortslutning for både lederne selv og de som står omkring; aksjonærer og medarbeidere, for eksempel. Vi vet også at ledere som begynner å tro på sine egne «helteliknende» kvaliteter, står i fare for å fremheve seg selv på bekostning av organisasjonens verdier.

Illusjoner om lederen som helt

Funn nummer to handler om folks forventninger til lederen. Med forventninger om heroisme og heltemot blir man fort skuffet over de aller fleste ledere man møter i virkeligheten. Arnulf og Larsen mener dette bør få følger for forholdet mellom ledere og ansatte.

– Ledere av kjøtt og blod oppleves som dårligere utgaver av det idealet man forventer, sier Arnulf.

– I datamaterialet vårt ser vi en tendens til at mange mennesker har nedsettende holdninger til sine egentlige ledere. Blant de mer spesielle funnene var hvordan folk ser på sine faktiske sjefer som mindre talentfulle enn dem selv når det gjelder ledelse. Dette så ut til å slå ut på mange egenskaper, men interessant nok dempes illusjonene med alder, kanskje som en følge av erfaring.

Det tredje funnet peker mot en begrensning ved de statistiske teknikkene som vanligvis brukes i ledelsesforskningen:

– Datamaterialet fra spørreskjemaer blir ofte brukt til å demonstrere noe som kalles «konstrukter». Dette er forskernes måte å si det på at de har funnet fram til den «egentlige» kjernen i ledelse, for eksempel motivasjon. Mange forskere har framsatt svære og komplekse modeller som viser hvordan alle disse forholdene henger sammen – ledelse, motivasjon, innsatsvilje osv. Forskningen vår viser at dette neppe holder stikk. Data fra spørreskjemaer henger stort sett bare sammen i språket. For eksempel er det slik at hvis «ledelse» betyr å oppnå resultater, så vil «en god leder» automatisk bety at vedkommende oppnår noen slags resultater. Det er dermed ikke meningsfylt å forske på om god ledelse skaper resultater. Det vet vi allerede, for det er sånn vi har laget språket. Man kan like gjerne forske på hva det er med tirsdager som lager onsdager. Det pussige er at folk ofte mister slike språklige nødvendigheter av syne.

Forskere har latt seg villede

I fjor lanserte Arnulf og kolleger «den semantiske teorien om survey-responser» (the semantic theory of survey responses, STSR), en alternativ tolkning av resultater fra noen av de mest brukte verktøyene i ledelsesforskningen. På bakgrunn av denne teorien spør de om den vitenskapelige «nullhypotesen» – om at det ikke er noen sammenheng i data – i organisasjonspsykologisk forskning bør erstattes av en semantisk hypotese, som kan skille empiriske sammenhenger fra feilvarians i form av semantiske likheter.

Arnulf utdyper:

– Hvis man deler ut spørreskjemaer og lar folk svare på dem, så vil nullhypotesen tilsi at det er tilfeldig hva folk svarer på de ulike spørsmålene. Når man finner sterke sammenhenger mellom svar på grupper av spørsmål, så vil disse testes statistisk mot nullhypotesen. Det vil si at man sjekker hvor sannsynlig det er at disse sammenhengene oppstår tilfeldig. Her påstår vi egentlig det motsatte: Det er oftest ikke noen grunn til å anta at noen sammenhenger er tilfeldige hvis spørsmålene handler om samme tema. Den som stiller spørsmål om ledelse, motivasjon eller andre forhold på jobben, kan ikke gå ut fra at disse spørsmålene er løsrevet fra hverandre.

Og han gir et eksempel:

– Hvis du svarer på to spørsmål: «jeg liker jobben min» og «jeg tenker lite på å bytte jobb», så finner vi oftest en klar sammenheng her. Men det skulle bare mangle. «Å like jobben» betyr jo i en viss forstand at dette er en jobb man vil velge foran andre jobber. Det er ingen grunn til å tro at slike spørsmål skal være uavhengige, og så feire at man fant en viss sammenheng. Med den digitale teknologien som vi har tilgjengelig nå, kan vi beregne på forhånd hvor sannsynlig det er at spørsmålene i et spørreskjema vil oppfattes likt, og i så fall hvor likt. Det er mye mer interessant å forske på hvordan og hvorfor folk fraviker fra det som er opplagt, enn å fastslå noe som allerede er gitt i språket.

Jan Ketil Arnulf mener det er et interessant forskningsspørsmål hvorfor forskere og lekfolk blir så overveldet og imponert over all den statistiske kunnskapen som bare forteller oss hva språket har lagt opp til.

– Det er et vitnesbyrd om språkets makt over hjernen, og over hvilket rikholdig kulturelt skattkammer vi beveger oss omkring i når vi bruker språket til å beskrive virkeligheten.

Artikkelen «Overlapping semantics of leadership and heroism: Expectations of omnipotence, identification with ideal leaders and dissapointment in real managers» er nå publisert i Scandinavian Psychologist.