Resultater av forskning er ikke mye verdt om de ikke publiseres. Hvis vi tror de har verdi, så må de gjøres kjent. Derfor har vi forskningstidsskrifter. Der rapporteres forskningsresultater i vitenskapelige artikler.

Men forskningstidsskrifter er forskjellige. Og en av egenskapene forskning­tidsskrifter varierer på, er den prestisjen som knyttes til å publisere der. Denne prestisjen er igjen knyttet til en statistikk som kalles impact factor.

Impact factor er et begrep de aller fleste forskere kjenner, men som de færreste kjenner godt. De fleste knytter impact factor til tidsskriftets prestisje, og svært mange ser til tidsskrifters impact factor når de vurderer hvor de skal sende sine artikkelmanus.

I det såkalte tellekantsystemet (grunnlaget for den resultatbaserte omfordelingen av offentlige forskningsmidler), hvor norske forskere registrerer sine forskningsartikler, sorteres tidsskrifter på to nivåer. Tidsskrifter på nivå 2 gir bedre uttelling (flere publiseringspoeng og flere midler fra omfordelingspotten) enn tidsskrifter på nivå 1. Jevnt over er det tidsskrifter med høy prestisje og høy impact factor som befinner seg på nivå 2, mens de på nivå 1 gjennomgående har lavere impact factor eller, i en hel del tilfeller, ikke har noen impact factor i det hele tatt.

De fleste forskere assosierer høy impact factor og høy prestisje med høy kvalitet. Både myndigheter og forsknings­institusjoner har satt seg som mål å hjelpe forskerne til å publisere arbeidene sine i nivå 2-tidsskrifter. Antakelsen er nok at tidsskrifter med høy impact factor og høy prestisje publiserer forskning av høy kvalitet, og at hvis man publiserer artikler i slike tidsskrifter, så er det et tegn på at forskningen holder høy kvalitet.

Jeg skal i det følgende fremme og utdype tre grunner til at forskere, forsknings­institusjoner, myndigheter og konsumenter av forskning, ikke bør være opptatt av impact factor og tidsskriftprestisje. De tre grunnene er:

1. Å være opptatt av impact factor hemmer overgangen til fritt tilgjengelig forskning.
2. Impact factor er et dårlig mål på gjennomslagskraften til forskningsartikler.
3. Impact factor er et enda dårligere mål på kvaliteten på forskningen.

Impact factor forklart

Men først: Hva er egentlig impact factor? Begrepet ble oppfunnet av den amerikanske lingvisten og forretningsmannen Eugene Garfield (se f.eks. Garfield, 2006) som et verktøy for å velge ut hvilke tidsskrifter som skulle inkluderes i databasen Science Citation Index, som i dag er en del av den mer kjente overbygningen Web of Science. Et tidsskrifts impact factor kan fortelle oss noe om hvor mye lest og sitert et tidsskrift er i et fagområde.

Et tidsskrifts impact factor (IF) endrer seg fra år til år, og regnes ut etter følgende formel:

IF for år X = Antall henvisninger i år X til artikler publisert i tidsskriftet i årene X–1 og X–2 / antall substansielle artikler publisert i tidsskriftet i år X–1 og X–2.

Her er et eksempel: I 2014 og 2015 ble det publisert til sammen 239 forskningsartikler i tidsskriftet Journal of Child Psychology and Psychiatry. I 2016 ble disse 239 artiklene henvist til (i forskningsartikler) til sammen 1488 ganger. Dermed blir tidsskriftets IF for 2016 = 1488/239, eller 6,226.

Vi kan med andre ord beskrive impact factor litt upresist som det gjennomsnittlige antall henvisninger per artikkel.

Grunn 1: Overdrevet fokus på impact factor hindrer åpen tilgang til forskningsartikler

Et vesentlig problem med at forskere ønsker å publisere i tidsskrift med høy IF, høy prestisje og tilhørighet på nivå 2 i tellekantsystemet, er at dette styrer dem bort fra tidsskrift med åpen tilgang til forskningsartiklene, såkalte open access (OA)-tidsskrifter.¹ Hva ligger bak denne påstanden?

I Norsk senter for forskningsdatas register over publiseringskanaler kan man blant annet sjekke om et forskningstidsskrift gir uttelling i tellekantsystemet, og om det i så fall gir uttelling på nivå 1 eller 2. Av de totalt 23 368 tidsskriftene som gir uttelling på nivå 1 er 3087 eller 13,2 % såkalt open access-tidsskrifter. På nivå 2, derimot, er det bare 50 av de 2052 tidsskriftene, altså 2,4 %, som er OA. Mest talende er kanskje det at av de til sammen 3137 OA-tidsskriftene som gir uttelling i tellekantsystemet, så er kun 1,6 % på nivå 2. En forsker som ønsker å publisere på nivå 2 vil derfor ha betydelige utfordringer med å finne et passende OA-tidsskrift. Dette systemet belønner altså tradisjonell publisering fremfor OA-publisering (Moksness & Olsen, 2017a, s. 1163).²

I tillegg er der en del studier, blant annet en fra UiT Norges arktiske universitet, på forskeres holdninger til og intensjoner om å publisere open access, som gir grunn til å tro at oppfatninger om tidsskriftkvalitet og impact er av betydning for forskernes valg av type publiseringskanal (se Moksness & Olsen, 2017b).

Hvorfor er det problematisk at forskere lokkes bort fra OA-tidsskrifter? Det er det mange grunner til. Jeg nøyer meg med tre. For det første bør offentlig finansiert forskning være offentlig tilgjengelig. Dette er et utsagn de færreste, inkludert forskere selv, er prinsipielt uenig i. Og fra en skattebetalers ståsted må det virke underlig at resultatene av forskning som belaster fellesskapets ressurser, ikke skal kunne leses av de som utgjør fellesskapet, men bare være tilgjengelige for det fåtallet som tilhører en institusjon med midler til å betale abonnementsavgifter.

Det er blant annet slike betraktninger som ligger til grunn for at – og her er grunn nummer to – åpen tilgang til forskningsartikler er et uttalt mål fra norske myndigheter (Regjeringen, 2017) og et krav fra de fleste store finansierere av forskning, inkludert Norges forskningsråd (Forskningsrådet, 2017) og EU (European Commission, 2017).

For det tredje, så er tradisjonelle abonnementstidsskrifter som regel svært dyre, og har hatt en prisstigning som langt overgår prisstigningen på andre varer og tjenester. En beregning anslår at med dagens priser, så er gjennomsnitts­kostnaden ved å publisere en artikkel i et tradisjonelt abonnementstidsskrift omlag 4000–5000 euro, mens kostnaden ved å publisere en artikkel åpent er rundt 1500 til 2500 euro (Johnson mfl., 2017). De aller fleste abonnementstidsskrifter utgis av internasjonale, kommersielle forlag som tjener godt, og tidvis enormt godt, på å selge tilgang til forskningsartiklene tilbake til forskerne og forskningsinstitusjonene, som jo i utgangspunktet har produsert forskningen, og da typisk for offentlige midler (Buranyi, 2017). Dermed bidrar impact factor og det norske tellekantsystemet til å holde liv i en forretningsvirksomhet med eventyrlige profittmarginer, samtidig som utviklingen mot en sterkt ønsket åpen tilgang til forskningsartikler hemmes.

Så kan man jo lure på hvorfor våre myndigheter, gjennom å opprettholde den prestisjebaserte nivådelingen i tellekantsystemet, belønner en publiseringsatferd som går på tvers av uttalte mål og krav til åpen publisering. Her kan vi bare spekulere. Jeg mistenker at forestillingen om at impact factor og tidsskriftprestisje er forbundet med kvalitet står sterkt hos mange forskere. Og siden det er forskere, gjennom såkalte publiseringsutvalg, som bestemmer hvilke tidsskrifter som får være på nivå 2, så får vi denne overvekten av tidsskrifter med høy impact factor der.

Grunn 2: Impact factor er bare svakt forbundet med artiklers gjennomslagskraft

Et spørsmål som interesserer både forskere og de som finansierer forskningen, er hva slags betydning, eller gjennomslagskraft, et stykke forskning får. Tidsskrifters impact factor antas gjerne å gi en indikasjon på nettopp det. Også denne antakelsen er det grunn til å moderere litt.

Som vi har sett, er et tidsskrifts impact factor det gjennomsnittlige antall henvisninger per publiserte artikkel. Men hvor talende er denne statistikken egentlig for henvisningshyppigheten til den typiske artikkelen i det aktuelle tidsskriftet? Ikke noe særlig. Og hvorfor ikke? Jo, fordi gjennomsnitt fungerer godt som et mål på sentraltendens, bare hvis fordelingen av verdier på variabelen vi er interessert i er sånn noenlunde symmetrisk. Antall siteringer for artikler i et tidsskrift er ikke symmetrisk. Også i tidsskrift med høy impact factor er det som regel sånn at noen ganske få artikler blir henvist til veldig ofte, mens det store flertall bare ganske sjeldent vises til i annen forskning. Den typiske forskningsartikkelen blir altså lite sitert, selv om den er publisert i et tidsskrift med høy impact factor.

Den legendariske norske biologen Per O. Seglen har bidratt til å løfte fram dette problemet. På 1980- og 1990-tallet tok han for seg publikasjonslistene til et utvalg norske forskere, for nettopp å undersøke sammenhengen mellom enkeltartiklers henvisningshyppighet og tidsskriftets impact factor. Han fant, som man kunne forvente ut fra betraktningene over, at sammenhengen var svak. Han fant også at i den grad der var en sammenheng mellom impact factor og henvisningshyppighet, så var den stort sett forbeholdt de forfatterne som i utgangspunktet, og på det jevne, allerede ble sitert mye (se f.eks. Seglen, 1997). En nyere studie med betydelig større utvalg finner omtrent det samme (Zhang, Rousseau & Sivertsen, 2017).

Så hvis vi antar at henvisningshyppighet sier noe om gjennomslagskraften til en forskningsartikkel, så bør vi heller se på henvisningshyppigheten til den enkelte forskningsartikkelen, fremfor impact factor for tidsskriftet den er publisert i.

Men kanskje er i det hele tatt litt problematisk å ensidig knytte forståelsen vår av betydning eller impact til siteringshyppighet, enten vi nå bruker enkeltartikkelens siteringshyppighet eller den langt mindre presise impact factor-en. For forskning kan, og kanskje av og til bør (?), ha betydning som går ut over det å bli henvist til i andre forskningsartikler. Det er ikke vanskelig å se for seg at et stykke forskning kan kaste stort av seg, uten å bli mye sitert av andre forskere. For vårt eget fag kunne vi tenke oss forskning som leses og anvendes av en stor gruppe utøvende psykologifagfolk som ikke selv forsker. Den forskningen kan ha stor betydning for de fagfolkene som anvender den, og kanskje også for dem de anvender den på. En slik betydning vil ikke nødvendigvis gjenspeiles i siteringshyppighet.

Grunn 3: Impact factor er ikke (positivt) forbundet med forskningens kvalitet

Jeg har allerede hevdet et par ganger at forskere tror at tidsskriftprestisje og impact factor henger sammen med kvalitet. Dette er litt vanskelig å dokumentere, men jeg tør vedde en pose nonstop på at hvis du spør et tilfeldig utvalg av forskere, så vil de fleste bekrefte at de har denne oppfatningen.

Men en liten smule indirekte dokumentasjon finnes dog. De aller siste, foreløpige resultatene fra den tidligere nevnte forskningen fra UiT (Moksness & Olsen, 2017c), tyder blant annet på at forestillinger om kvalitet virkelig er assosiert med prestisje og impact factor i forskernes hoder.

I min tråling av litteraturen fant jeg også en studie fra noen år tilbake (Saha, Saint & Christakis, 2003), hvor amerikanske medisinere, både forskende og ikke-forskende, ble bedt om å tallfeste sin oppfatning av kvaliteten på 9 utvalgte forskningstidsskrifter. Disse vurderingene ble så korrelert med tidsskriftenes impact factor. Der var en nokså klar og sterk sammenheng.

I min bruk av sistnevnte studie ligger det en liten ironi. Forskerne bak denne studien tar nemlig funnet sitt til inntekt for konklusjonen at impact factor er et rimelig mål på tidsskriftets kvalitet. Det er naivt.

Nevroviteren Björn Brembs har en stund samlet forskning som har forsøkt å finne sammenhenger mellom impact factor og mer objektive og rimelige operasjonaliseringer av metodisk og vitenskapelig kvalitet enn forskernes magefølelse (se Brembs, 2016, 2017; Brembs, Button & Munafó, 2013). I disse arbeidene viser han til en god håndfull studier, de aller fleste av dem utført av andre forskere. I studiene er impact factor korrelert med slike ting som antall tilbaketrukne artikler, den statistiske styrken til studiene som rapporteres, overestimering av effektstørrelser fra små studier, hvorvidt resultatene er funnet igjen i senere studier, graden av forsvarlig randomisering i fordeling til eksperimentelle betingelser, hvorvidt skåring av atferd gjøres av observatører som ikke kjenner den eksperimentelle manipulasjonen, feil i gennavn og -tilgangskoder, feil i utregning eller rapportering av p-verdier fra signifikanstester, forekomsten av forskningssvindel (f.eks. fabrikerte resultater) og uheldig duplisering av bilder.

Bare én av disse korrelasjonene er i favør av tidsskrifter med høy IF (den med duplisering av bilder). På de fleste målene er det ingen vesentlig assosiasjon å snakke om. Men enkelte studier viser sammenhenger slik at tidsskrifter med høy IF kommer litt dårligere ut enn tidsskrift med lavere IF. Mest bemerkelsesverdig er at studier publisert i høy-IF-tidsskrifter har flere tilfeller av i) forskningssvindel (skjønt det totale antallet er likevel forsvinnende lavt), ii) lav statistisk styrke (innen psykologi og nevrovitenskap), iii) overestimater av effektstørrelser og iv) feilrapporteringer av p-verdier.

Tidsskrifter med høy impact factor og høy prestisje, de som befolker nivå 2 i det norske tellekantsystemet, publiserer altså ikke forskning med høyere metodisk eller vitenskapelig kvalitet enn tidsskrift med lavere IF. En viktig rolle for forskningstidsskrifter er hjelpe til med å skille gjennombruddsforskning fra ønsketenkning. Ingenting tyder på at tidsskrifter med høy impact factor lykkes bedre med det enn andre tidsskrifter.

Innhold, ikke innpakning

Alt dette bør kunne tas til inntekt for at kvaliteten til et forskningsarbeid bør bestemmes ved en grundig vurdering av den enkelte forskningsartikkelen, slik Seglen også argumenterte for. Det er forskningens innhold som teller, ikke emballasjen den kommer i. Fremfor alt bør impact factor ikke brukes som den uoffisielle peilepinnen for nivåinndelingen i tellekantsystemet

Kanskje vil det beste være å skrote hele nivåinndelingen? For tidsskriftkvalitet er vanskelig å vurdere, og henger neppe tett sammen med kvaliteten på enkeltarbeidene som publiseres der. Skal vi ha noe håp om nå nasjonale mål om åpen publisering av offentlig finansiert forskning, så må det gjøres noe med insentivordningene.

Kilder

Brembs, B. (2016, 12 januar). Even without retractions, ‘top’ journals publish the least reliable science [Blog post]. Hentet fra http://bjoern.brembs.net/2016/01

Brembs, B. (2017). Prestigious science journals struggle to reach even average reliability [manuskript under vurdering]. Hentet fra https://docs.google.com/document/d/18uyYykwoy6EAyX39eDfuVwsuPrjokPEuB5MyLmrdi2U/edit#heading=h.lp9wudi6sduc

Brembs, B., Button, K. & Munafò, M. (2013). Deep Impact: Unintended consequences of journal rank. Frontiers in Human Neuroscience, 7, 1–12. doi:10.3389/fnhum.2013.00291

Buranyi, S. (2017, 27. juni). Is the staggeringly profitable business of scientific publishing bad for science? The Guardian. Hentet fra www.theguardian.com

European Commission (2017). Open Access [Nettside]. Hentet 28. november 2017 fra http://ec.europa.eu/research/openscience/index.cfm?pg=openaccess

Forskningsrådet (2017). Åpen tilgang til publikasjoner [Nettside]. Hentet 28. november 2017 fra https://www.forskningsradet.no/

Garfield, E. (2006). The history and meaning of the journal impact factor. JAMA, 295(1),90–93. doi:10.1001/jama.295.1.90

Johnson, R. mfl., (2017). Towards a competitive and sustainable open access publishing market: A study prepared for the OpenAiIRE 2020 project, on behalf of the European Commission. Hentet fra https://blogs.openaire.eu

Moksness, L. & Olsen, S. O. (2017a). Understanding researchers’ intention to publish in open access journals. Journal of Documentation, 73, 1149–1166. doi:10.1108/JD-02-2017-0019

Moksness, L. & Olsen, S. O. (2017b). Trust versus perceived quality in scholarly publishing: A personality-attitude-intention approach. College & Research Libraries. Tidlig online-publikasjon. Hentet fra http://crl.acrl.org/index.php/crl/article/view/16768

Moksness, L. & Olsen, S. O. (2017c). Perceived quality, incentives and trust in scholarly publishing [manuskript under utarbeidelse].

Regjeringen (2017). Nasjonale mål og retningslinjer for åpen tilgang til vitenskapelige artikler. Hentet fra www.regjeringen.no

Saha, S., Saint, S. & Christakis, D. A. (2003). Impact factor: A valid measure of journal quality? Journal of the Medical Library Association, 91(1), 42–46. Hentet fra https://www.ncbi.nlm.nih.gov/pmc/articles/PMC141186/

Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498–502. doi:10.1136/bmj.314.7079.497

Zhang, L., Rousseau, R. & Sivertsen, G. (2017). Science deserves to be judged by its contents, not by its wrapping: Revisiting Seglen’s work on journal impact and research evaluation. PLoS ONE, 12, 1–18. doi:10.1371/journal.pone.0174205