Julkaisuindikaattorit eivät sovellu yksittäisen tutkijan arviointiin

Tieteellisten seurain valtuuskunta järjesti 31.3.2015 Tieteiden talolla tutkijan arviointia ja palkitsemista käsittelevän keskustelutilaisuuden. Tilaisuudessa pohdittiin, saako yksittäistä tutkijaa arvioida ja palkita hänen tuottamiensa julkaisujen perusteella, ja miten julkaisujen laatua voidaan mitata. Puheenvuoroja kuultiin niin yliopistojen palkitsemisjärjestelmiin kuin tiedejulkaisemisen ja tutkijuuden muutoksiin liittyvistä asioista.

Keskustelua julkaisujen viittausmääriin perustuvien indikaattorien, kuten journal impact factorin tai hindeksin, käyttämisestä yksittäisten tutkijoiden arviointiin ja vertailuun on käyty jo pitkään. Mittareiden rajoitteet ovat yleisesti tiedossa, mutta informaation kasvava määrä lisää laskennallisten indikaattorien kysyntää, kun tutkimuksen laatua halutaan kuitenkin jollain tapaa mitata.

Tällaista kehitystä vastustaa mm. vuonna 2012 alkunsa saanut San Francisco Declaration on Research Assessment (DORA), jonka jo sadat tutkimusorganisaatiot ja tuhannet tutkijat maailmanlaajuisesti ovat allekirjoittaneet. DORA suosittaa, ettei Journal Impact Factoria tai vastaavia mittareita käytetä yksittäisen tutkijan julkaisujen arviointiin. Suomessa vastaavanlaista keskustelua on käyty Tieteellisten seurain valtuuskunnan ylläpitämän Julkaisufoorumiluokituksen ympärillä.

Opetus- ja kulttuuriministeriön rahoitusmallissa Julkaisufoorumi-luokitus toimii yliopistojen koko tieteellisen julkaisutuotannon laadun indikaattorina. Julkaisufoorumin ohjausryhmä on painottanut, että luokitus soveltuu lähinnä suurten julkaisumäärien, ei yksittäisen tutkijan ansioiden arviointiin. Rahoitusmallien mittareilla on kuitenkin taipumus siirtyä yliopistojen sisäisiin rahoitus- ja kannustinjärjestelmiin, ja siten kohti yksilötason ohjausta ja arviointia.

Tilaisuudessa todettiin, että tutkijoita on aina arvioitu ja tullaan jatkossakin arvioimaan, mutta prosessien tulisi olla läpinäkyviä, oikeudenmukaisiksi koettuja ja tiedeyhteisöstä lähteviä. Yksittäisen julkaisun laadun arvioinnissa ensisijaista tulisi olla tutkimustulosten sisältö, niiden merkitys yhteiskunnalle ja tieteen kehitykselle. Tärkeää on, ettei luokitusten ja indikaattorien mahdolliselle ohjausvaikutukselle sokeuduttaisi ja lähdettäisi asettamaan tutkimuksen tavoitteita mittareista käsin.

Kommentoijat toivoivat, ettei kilpailu palkkioista heijastuisi liikaa kollegoiden väliseen luottamukseen ja arvostukseen. Ryhmän palkitsemista hyvistä suorituksista pidettiinkin parempana vaihtoehtona kuin yksilön palkitsemista, jottei palkitsemisjärjestelmä johtaisi tutkimusorganisaation tavoitteiden kannalta epätarkoituksenmukaiseen toimintaan.

Yhteenvetona keskustelun annista voi todeta, että Julkaisufoorumi-luokitus soveltuu suurten julkaisumäärien arviointiin, esimerkiksi yliopistojen keskinäiseen vertailuun. Julkaisufoorumi voi myös auttaa tunnistamaan eri tieteenaloilla korkeatasoisina pidettyjä julkaisukanavia sekä erottelemaan tieteellisesti legitiimit julkaisukanavat arveluttavista julkaisukanavista. Yksilön meriittejä sen sijaan ei voida arvioida yksinomaan sen perusteella, minkä tasoisissa julkaisukanavissa hänen tutkimuksensa on julkaistu. Laadun arviointiin käytettyjen mittareiden on oltava luotettavia ja läpinäkyviä, ja niitä on syytä arvioida kriittisesti.

Konkreettisia esimerkkitapauksia Julkaisufoorumi- luokituksen kyseenalaisista käyttötavoista on tullut Tieteellisten seurain valtuuskunnan tietoon toistaiseksi vähän. Luokitukseen liittyviä huhuja ja jopa virheellistä tietoa on kuitenkin liikkeellä paljon. Julkaisufoorumissa onkin suunnitteilla kysely, jossa yliopistoilta pyydetään tietoa luokituksen käyttötavoista ja tätä koskevista linjauksista. TSV-yhteisössä on myös keskusteltu mahdollisuudesta laatia ohjeistus edistämään tutkijan arvioinnin hyviä käytäntöjä.

Tutkijan arviointia ja palkitsemista koskeva keskustelutilaisuus oli ensimmäinen Tieteessä tapahtuu -foorumin tapahtuma. Tieteessä tapahtuu -foorumi on TSV-yhteisön eli Tieteellisten seurain valtuuskunnan ja sen yhteydessä toimivien asiantuntijaelinten – Julkaisufoorumin, Tiedeakatemiain neuvottelukunnan, Tutkimuseettisen neuvottelukunnan sekä Tiedonjulkistamisen neuvottelukunnan – yhteinen keskustelusarja. Seuraava Tieteessä tapahtuu -foorumi järjestetään lokakuussa 2015. Tällöin keskustellaan tutkimuksen yhteiskunnallisesta vaikuttavuudesta ja sen mittaamisesta.

Tilaisuutta koskeva tiedote löytyy kokonaisuudessaan osoitteesta: www.tsv.fi.

teksti Anna-Sofia Ruth ja Janne Pölönen

• Painetussa lehdessä sivu 8