Kaikki ovat yksimielisiä siitä, että julkaisemisessa laatu on tärkeämpää kuin määrä, mutta miten julkaisujen laatua pitäisi arvioida? Entä pitäisikö yksittäistä tutkijaa palkita yliopistolle tuottoisien julkaisujen kirjoittamisesta?

Näitä kysymyksiä pohdittiin Tieteiden talolla tiistaina 31.3. järjestetyssä tutkijan arviointia ja palkitsemista käsittelevässä keskustelutilaisuudessa. Tilaisuus oli ensimmäinen laatuaan Tieteessä tapahtuu -foorumiksi nimetyssä keskustelusarjassa.

Keskustelun pääkohdat voidaan tiivistää seuraavasti:

• Yksilön meriittejä ei voida arvioida yksinomaan sillä perusteella, minkä tasoisessa julkaisukanavassa hänen tutkimuksensa on julkaistu.  
• Julkaisufoorumi-luokitus soveltuu suurteen julkaisumäärien arviointiin, esimerkiksi yliopistojen keskinäiseen vertailuun. Julkaisufoorumi voi myös auttaa nuoria tutkijoita tunnistamaan oman alansa parhaita julkaisukanavia sekä erottelemaan tieteellisesti legitiimit julkaisukanavat arveluttavista julkaisukanavista.
• Laadun arviointia on aina tehty ja tulee voida tehdä, mutta mittareiden on oltava luotettavia ja läpinäkyviä. Myös mittareita on syytä arvioida kriittisesti.

Tilaisuuden avasi TSV:n toiminnanjohtaja Lea Ryynänen-Karjalainen. Keskustelun taustaksi hän esitteli San Francisco Declaration on Research Assessment -julkilausuman (DORA), jonka jo sadat tutkimusorganisaatiot ja tuhannet tutkijat maailmanlaajuisesti ovat allekirjoittaneet. DORA suosittaa, ettei Journal Impact Factoria tai vastaavia mittareita käytetä yksittäisen tutkijan julkaisujen arviointiin. Maailmalla käytyä impact factor -keskustelua vastaavia huomioita on herättänyt TSV:n ylläpitämän Julkaisufoorumi-luokituksen käyttö yliopistojen sisäisissä palkitsemisjärjestelmissä.

Opetus- ja kulttuuriministeriön rahoitusmallissa Julkaisufoorumi-luokitus toimii yliopistojen koko tieteellisen julkaisutuotannon laadun indikaattorina. Julkaisufoorumin ohjausryhmä on painottanut, että luokitus soveltuu lähinnä suurten julkaisumäärien, ei yksittäisen tutkijan ansioiden arviointiin. Rahoitusmallien mittareilla on kuitenkin taipumus siirtyä yliopistojen sisäisiin rahoitus- ja kannustinjärjestelmiin, ja siten kohti yksilötason ohjausta ja arviointia, mikä on herättänyt huolta tiedeyhteisössä.

Alustuksessa avattiin myös lyhyesti professori Jaakko Suomisen työryhmän toteuttamaa kyselyä ihmistieteilijöille, jossa tutkijoilta kysyttiin, onko heillä kokemusta Julkaisufoorumin käyttöohjeiden vastaisista luokituksen käyttötavoista. Vain 10 prosenttia vastaajista oli itse havainnut ohjeistuksen vastaisia käyttötapoja. Sen sijaan epäilyksiä tai kuulopuheeseen perustuvaa tietoa väärinkäytöstä oli reilulla kolmanneksella. TSV:n tavoitteena on avoimen keskustelun ja tehokkaan viestinnän avulla lisätä järjestelmän läpinäkyvyyttä ja oikaista mahdollisia väärinkäsityksiä.

Tiedejulkaiseminen ja tutkijuus murroksessa

Dosentti Pekka Louhiala Helsingin yliopistosta kertoi omassa puheenvuorossaan kokemuksistaan niin sanotun saalistajalehden vertaisarvioijana. Louhialalle selvisi sattumalta, että Open Access -lehti, johon hänet oli pyydetty arvioijaksi, oli julkaissut hänen ja toisen arvioijan hylkäyssuosituksesta huolimatta artikkelin sellaisenaan. Huomiota herätti myös se, miten nopeasti arviointiprosessi ja julkaisupäätös oli viety läpi. Tarkemmin asiaan paneutuessaan Louhiala huomasi, ettei lehdellä ollut edes päätoimittajaa, ja kustantajan muutkin lehdet näyttivät epämääräisiltä. Julkaisukanavien määrän kasvaessa nopeasti luotettavien tieteellisten foorumien tunnistaminen onkin entistä haastavampaa.

Louhialan kertomus herätti osallistujat pohtimaan laajemminkin vertaisarvioinnin merkitystä. Vertaisarviointi nähdään laadunarvioinnissa bibliometristen indikaattoreiden vastaparina, vaikka senkin puutteet tiedostetaan. Kaupalliset kustantajat perustelevat oman liiketoimintansa tarpeellisuutta juuri toimitusprosessiin sisältyvän vertaisarvioinnin tuottamana lisäarvona tieteelliselle tutkimuksella. Viime vuosina Open Access -toimijat ovat haastaneet perinteiset kustannusmallit.

Yhä useammin keskusteluun nousee myös kysymys, mihin perinteistä tiedejulkaisemista ylipäätään tarvitaan, kun tutkimustulokset voitaisiin julkaista nopeammin ja laajemmalle lukijakunnalle avoimilla verkkoalustoilla. Keskustelussa viitattiin Avoin tiede ja tutkimus -hankkeen työryhmäseminaarissa 27.3.2015 esiteltyyn tutkimuskokeiluun, joka on toteutettu tutkimusdataa myöten täysin avoimesti blogi-alustalla. Yleisön joukosta esitettiin kysymys, eikö myös joukkoistamiseen perustuva avoin vertaisarviointi ole itse asiassa luotettavampi kuin perinteinen sokkovertaisarviointi. Avoimessa vertaisarvioinnissa prosessi on läpinäkyvä ja myös arviot voidaan arvioida, kun taas nimekkäiden mutta kiireisten senioritutkijoiden lausunnot voivat jäädä heppoisiksi. Toistaiseksi kuitenkin tieteellinen meritoituminen ja palkitsemisjärjestelmät edellyttävät tietyntyyppistä julkaisemistapaa.

Professori Tuomas Martikainen Helsingin yliopistosta puolestaan toi puheenvuorossaan esiin, että Julkaisufoorumi-luokitus on vain yksi osa suurempien muutosten jatkumossa. Muiden muassa yliopistouudistus ja Bolognan prosessi ovat vaikuttaneet siihen, miten tutkijan ja tutkimuksen asema ja tarkoitus käsitetään. Martikaisen mukaan yliopistoympäristö on muuttunut keskusjohtoisemmaksi ja tutkijan arviointi standardimittaisemmaksi. Vaarana voi olla se, että nuoret tutkijat alkavat seurata rahoittajan asettamia tavoitteita tiedeyhteisön kiinnostuksen tavoittelun sijasta. Martikaisen ohje nuorille tutkijoille kuului: ”Julkaiskaa, missä parhaaksi katsotte, mutta olkaa tietoisia arvioinnin tavoista”.

Kilpailu ja vastuullinen arviointi

Vararehtori Jari Hämäläinen Lappeenrannan teknillisestä yliopistosta esitteli oman organisaationsa palkitsemiskäytänteitä. Lappeenrannan teknillisessä yliopistossa OKM:n rahoitusmallin mukaista rahanjakoa sovelletaan ”schoolien” tasolla, mutta ryhmä- tai yksilötasolle tätä mallia ei viedä. Hämäläisen mukaan teknillisissä yliopistoissa palkat on pidettävä kilpailukykyisinä, sillä työvoimasta kilpaillaan yksityisen sektorin kanssa. LUT:ssa on käytössä selkein kriteerein varustettu palkitsemisjärjestelmä professoreille. Akateemisista ansioista palkitaan, ja muille kuin professoreille maksetaan julkaisuista julkaisupalkkio. LUT:ssa julkaisumäärät ovatkin kasvaneet huimaa vauhtia prosentuaalisesti tarkasteltuna. Julkaisufoorumi-luokitusta voidaan LUT:ssa hyödyntää esimerkiksi silloin, kun valitaan artikkeliväitöskirjalle sopivia julkaisukanavia. Tuolloin kuitenkin huomioidaan myös tasolla 1 olevat julkaisukanavat tietoisina siitä, ettei tarkoituksenmukaisinta julkaisukanavaa välttämättä ole rankattu korkeimmalle. Urheiluvertausta käyttäen Hämäläinen totesi, että kunnianhimoinen mutta realistinen tavoitteenasettelu tuottaa parhaan tuloksen.

Tilaisuuden yleisö oli samoilla linjoilla. Yksittäisen julkaisun laadun arvioinnissa ensisijaista tulisi olla tutkimuksen sisältö, sen merkitys yhteiskunnalle ja tieteen kehitykselle. Tätä ei voida arvioida yksinomaan julkaisukanavan keskimääräisen tason perusteella. Toisaalta tiedostettiin, että informaation kasvava määrä lisää erilaisten vaikuttavuusindikaattorien kysyntää, koska kaikkea ei pystytä arvioimaan sisällöllisesti.

Yleisöstä muistutettiin, että tutkijoita on aina arvioitu ja tullaan jatkossakin arvioimaan, mutta prosessien tulisi olla läpinäkyviä, oikeudenmukaisiksi koettuja ja tiedeyhteisöstä lähteviä. Myös Professoriliiton tulospalkkausselvityksessä, jota Lea Ryynänen-Karjalainen alustuspuheenvuorossaan esitteli, selkeisiin ennalta asetettuihin kriteereihin perustuvia palkkiojärjestelmiä käyttävien yliopistojen vastaajat olivat tyytyväisimpiä.

Samoin arvostukset, jotka Julkaisufoorumi-luokitus tekee näkyviksi, ovat olleet olemassa jo ennen luokituksen olemassaoloa. Luokituksen tarkoituksena onkin Julkaisufoorumin ohjausryhmän määritelmän mukaan ”tunnistaa vertaisarvioidut julkaisusarjat, konferenssit ja kirjakustantajat, sekä osoittaa tiedeyhteisössä laajimmin arvostetut ja vaikuttavat julkaisukanavat.” Tärkeää olisi, ettei luokituksen mahdolliselle ohjausvaikutukselle sokeuduttaisi ja lähdettäisi asettamaan tutkimuksen tavoitteita mittareista käsin. Luokituksen kipupisteet liittyvät tilanteisiin, joissa yksittäisen tutkijan tekemää työtä katsotaan ainoastaan julkaisukanavan tasoluokan näkökulmasta. Tuolloin tutkija voi kokea, ettei hänen työtään pidetä arvokkaana. Yleisöstä kommentoitiin, että luokituksesta on eniten hyötyä nuorille tutkijoille tai kartoitettaessa itselle vieraan alan julkaisukenttää.

Puhujat toivoivat, ettei kova kilpailu heijastuisi liikaa kollegoiden väliseen luottamukseen ja arvostukseen. Ryhmän palkitsemista hyvistä suorituksista pidettiinkin parempana vaihtoehtona kuin yksilön palkitsemista, jottei palkitsemisjärjestelmä johtaisi tutkimusorganisaation tavoitteiden kannalta epätarkoituksenmukaiseen toimintaan.

Yhteenvetona Helsingin yliopiston vararehtori Keijo Hämäläinen totesi, että keskustelu keskittyi pitkälti julkaisemiseen ja julkaisuista palkitsemiseen. Yksimielisiä oltiin siitä, että yliopistojen rahanjakomallissa jokin laadun mittari on parempi kuin ei mitään. Julkaisufoorumi siis soveltuu käytettäväksi yliopistotasolla ja yliopistoja vertailtaessa, mutta yksilötasolla sen käytössä tulisi olla hyvin varovainen. Hyvästä tuloksesta pitää palkita, mutta on huolehdittava siitä, ettei tavoitteita aseteta mittareiden ehdoilla. Lisäksi kannattaa olla kriittinen sen suhteen, mitä bibliometriset mittarit todellisuudessa mittaavat.

Tieteessä tapahtuu -foorumi taas syksyllä 2015

Seuraava Tieteessä tapahtuu -foorumi järjestetään 20. lokakuuta 2015. Tällöin keskustellaan tutkimuksen yhteiskunnallisesta vaikuttavuudesta ja sen mittaamisesta – aiheista, jotka nousivat esiin myös tutkijan arviointia koskevassa keskustelutilaisuudessa. Ohjelmasta ja ilmoittautumisesta tiedotetaan lähempänä ajankohtaa.

Tieteessä tapahtuu -foorumi on TSV-yhteisön eli TSV:n ja sen yhteydessä toimivien asiantuntijaelinten eli Julkaisufoorumin, Tiedeakatemiain neuvottelukunnan, Tutkimuseettisen neuvottelukunnan sekä Tiedonjulkistamisen neuvottelukunnan yhteinen keskustelusarja. Foorumi tarjoaa puolueettoman ja asiantuntevan alustan tiedepoliittiselle ajankohtaiskeskustelulle.

Kommentteja ja kysymyksiä voi esittää TSV:n Twitterissä tai Julkaisufoorumin Facebook-sivuilla.

Keskustelutilaisuuden esitykset:

Lea Ryynänen-Karjalainen: Alustus

Pekka Louhiala: Sattumalta suden suuhun -tapausselostus

Tuomas Martikainen: Tutkijan muutos

Lisätietoa aiheista:

Julkaisufoorumi-luokituksen käyttöohje

San Francisco Declaration on Research Assessment

The Leiden Manifesto for research metrics

ATT-työryhmäseminaarin 27.3.2015 esitykset

Julkaisufoorumi-luokitus ja viittausindeksit tieteellisten julkaisujen laadun mittareina (2013)