Kosmokseen kirjoitettua

Sattuman kauppaa

30.1.2020 klo 21.58, kirjoittaja Syksy Räsänen
Kategoriat: Kosmokseen kirjoitettua

Olen kirjoittanut tutkimusrahoituksen hakemisen ongelmista lähinnä hakijan näkökulmasta. Ajattelin nyt katsoa asiaa enemmän arvioijan vinkkelistä. Olin viime syksynä, ja sitä ennen vuonna 2015, Helsingin yliopiston kolmivuotisten tutkimusmäärärahojen arviointipaneelissa, joten käytän sitä esimerkkinä. Olen arvioinut hakemuksia ja tutkijoita myös Etelä-Afrikan kansalliselle tutkimussäätiölle, Iso-Britannian Royal Societylle ja Puolan kansalliselle tiedekeskukselle.

Helsingin yliopiston kolmivuotinen tutkimusmääräraha on 50 000 € vuodessa, mikä kattaa yhden jatko-opiskelijan palkan (plus matkakuluja ja muita pieniä kuluja kuten julkaisumaksuja) tai melkein yhden väitelleen tutkijan palkan. Vuonna 2019 rahaa oli jaossa yhteensä 2.55 miljoonaa euroa.

Hakemukset jaetaan tiedekunnan mukaan paneeleihin, joissa on 4-6 jäsentä. Ensimmäisellä kierroksella paneeli valitsee jatkoon lupaavimmat hakijat, joilta pyydetään tarkempi hakemus. Toiselle kierrokselle selvinneet paneeli laittaa paremmuusjärjestykseen. Yliopiston tutkimusneuvosto antaa paneelien lausuntoihin nojaten ehdotuksen rehtorille, joka tekee päätöksen rahan saajista.

Arviointi tehdään Helsingin yliopiston henkilökunnan voimin. Tässä on se hyvä puoli, että rahaa ei mene ulkoisten arvioijien matkakuluihin ja palkkioihin, vaan kaiken budjetoidun rahan voi antaa määrärahoina. Tietysti hakemusten arviointiin kuluva työaika on poissa muista tehtävistä (erityisesti tutkimuksesta, josta joustavimpana leikataan ensimmäiseksi), mutta en tiedä paljonko tätä huomioidaan rahoitusinstrumenttien tehokkuutta arvioidessa.

Huono puoli on se, että koska tutkimusyhteisö on tiivis, monet paikallisista tutkijoista jotka ovat päteviä arvioimaan tietyn hakemuksen tieteellisiä ansioita ovat siihen myös jäävejä. Kun hakemuksia tulee monelta alalta ja tutkimuskohteet ovat erikoistuneita, paneelin jäsenet joutuvat arvioimaan hakemuksia aiheista, joista he eivät tiedä mitään. (Mainittakoon, että Suomen Akatemia käyttää ulkomaisia arvioijia, joista ainakin osa on alan asiantuntijoita.)

Niinpä kaikkein tärkeimpiä asioita, kuten miten ehdotus sijoittuu tutkimuksen kentälle, miten merkittävä tutkimuskysymys on ja millaista edistystä siinä voi odottaa, voi usein ottaa huomioon vain hyvin rajallisesti. Omalta osaltani voin sanoa, että oli poikkeus, kun pystyin arvioimaan hakemuksen tieteellisiä ansioita. Usein voi vain luottaa hakijan esittämiin väitteisiin työn tärkeydestä, mikä palkitsee suuret puheet, ei realistisia arvioita.

Hakemuksia sitten arvioidaan niiden asioiden perusteella mitä ymmärretään, kuten hakijan numeerisesti mitattavat ansiot (julkaisujen määrä, aiemmat apurahat, kokemus tutkimusryhmien johtamisesta) ja se miten selvästi hakemus on kirjoitettu. Tässä voivat nousta tärkeiksi sellaiset seikat, jotka ovat tutkimuksen tekemisen kannalta aivan yhdentekeviä, kuten onko aikataulu yksityiskohtainen ja onko siitä Gantt-kaavio.

Toissijaisiin seikkoihin nojautumista pahentaa se, että laadukkaita hakemuksia on paljon enemmän kuin niitä, joita voidaan rahoittaa, ja jotenkin hakemukset pitää erottaa toisistaan.

On nurinkurista, että rahahakemuksia arvioidaan paljon epämääräisemmin ja sattumanvaraisemmin kuin tieteellisiä artikkeleita, vaikka tutkimusrahoituksen saaminen on tutkijalle paljon merkittävämpi meriitti kuin artikkelin julkaiseminen tietyssä lehdessä.

Artikkelien vertaisarviointiin kuuluu kirjoittajan ja arvioijan välinen dialogi. Minulle on artikkelin vertaisarvioijana käynyt niin, että olen virheellisesti luullut artikkelissa olevan ongelman, ja kirjoittaja on voinut osoittaa, että olen väärässä. Tämä siitä huolimatta, että kyse on artikkeleista, joiden alan tunnetun hyvin ja joiden arviointiin käytän enemmän aikaa kuin rahahakemusten (en usko olevani tässä yksin). Tutkimusrahoituksen kohdalla on sen sijaan yleinen käytäntö, että hakija ei voi kommentoida arvioita, eikä välttämättä edes saa niitä tietoonsa.

Niinpä hakuprosessissa on paljon satunnaisuutta, ja on kyseenalaista, tuottaisiko samojen hakemusten arvioiminen eri paneelilla samaa tulosta. Toistettavuuden parantaminen, esimerkiksi antamalla mahdollisuus kommentoida arvioita, kuitenkin lisäisi ennestään hakemusprosessiin meneviä resursseja, ja niitä kuluu jo nyt kohtuuttomasti.

Edellisen merkinnän kohdalla kysyttiin, mikä sitten olisi ratkaisu. Erilaisia rahoitusmalleja on pohdittu, ja kilpaillun rahoituksen osuus on iso kysymys, jota olisi syytä miettiä. Mainitsen tässä vain neljä pientä ehdotusta.

Ensinnäkin, aiempaa tutkimusrahoitusta ei pitäisi käyttää mittarina tutkimusrahoitusta ja työpaikkoja jaettaessa. Tutkijoiden vertaaminen ei ole helppoa, joten on houkuttelevaa ulkoistaa vastuu aiemmille arvioijille. Rahoitusprosessien tulokset ovat kuitenkin epäluotettava mittari, koska ne eivät ole toistettavissa. Tutkijoilla on paljon erilaisia meriittejä: artikkelien sisältö, lukumäärä ja julkaisukanavat, puheiden sisältö, lukumäärä ja pitopaikat, artikkelien saamien viitteiden määrä, edelliset työpaikat, opetuskokemus, palkinnot ja niin edelleen. Näistä tutkimusrahoituksessa lienee eniten satunnaisuutta.

Toisekseen, jatko-opiskelijoiden rahoitus pitäisi saada vakaalle pohjalle ja hoitaa keskitetysti, ei jättää sitä ohjaajien hakemusten ja apurahojen varaan. Sattumanvaraisuutta ja epävarmuutta rahoituksessa tulisi muutenkin vähentää. Matemaattis-luonnontieteellinen tiedekunta on viime vuosina antanut rahaa hakijoille, jotka menestyvät Suomen Akatemian tai Euroopan tutkimusneuvosto ERC:n hauissa, mutta eivät saa rahoitusta. Tämä on esimerkki siitä, miten voidaan välttää raskas hakuprosessi käyttäen olemassa olevia (sinänsä ongelmallisia) arvioita. Käytäntö myös lieventää sitä ongelmaa, että jos rahaa ei saa, hakemukseen käytetty aika on mennyt hukkaan.

Kolmannekseen, arvioijia tulisi kouluttaa ja ohjeistaa paremmin. Nykyään käytetään yhä enemmän aikaa siihen, että tutkijoita koulutetaan kirjoittamaan hakemuksia, mutta niiden arvioijilla ei välttämättä ole mitään koulutusta tehtävään. Opastuskin on usein puutteellista.

Vuonna 2015 huomautin siitä, että yliopisto ei antanut ohjeita sukupuolen huomioimiseen hakemuksia arvioidessa: pitäisikö yhtä hyvien hakemusten kohdalla suosia hakijaa, jonka sukupuoli on alalla aliedustettuna vaiko ei? Nyt neljä vuotta myöhemmin ohjeita ei vieläkään ollut. Myöskään omien ennakkoluulojen tunnistamisesta ei ollut mitään ohjeita. Kysyttäessä kerrottiin, että tutkimusneuvosto hoitaa sukupuolikysymyksen. Mutta sinne mennessä hakemukset ovat käyneet jo läpi yhden leikkurin, eikä pois jätettyjä hakemuksia voi ottaa huomioon. Diversiteettin ja tasapuolisuuden parantamiseen tähtäävät käytännöt –mitä ne ovatkaan– pitää toteuttaa kaikilla tasoilla, ensimmäisistä arvioista alkaen.

Neljännekseen, olisi syytä tunnustaa tutkimusrahoitukseen liittyvä satunnaisuus. Koska arvioissa on joka tapauksessa paljon satunnaisuutta, voisi säästää aikaa ja vaivaa tekemällä prosessista avoimesti satunnaisen. Paneeli voisi karsia pois huonot hakemukset ja rahansaajat voitaisiin arpoa jäljelle jääneiden joukosta – mahdolliset painotukset tieteenalojen, sukupuolen ja muiden tiedepoliittisten seikkojen huomioimiseksi on helppo ottaa arvonnassa huomioon.

Fysiikan instituutti FQXi jakoi vuodesta 2006 alkaen pieniä apurahoja tällaisella menetelmällä, mutta nyt järjestelmä on ilmeisesti muuttunut. Nature raportoi, että muutkin rahoittajat ovat käyttäneet arvontaa, esimerkiksi Uuden-Seelannin terveystutkimusneuvosto ja Sveitsin kansallinen tiedesäätiö SNSF.

Arvonta säästää hakemusten tekemiseen ja arvioimiseen menevää aikaa ja vähentää ennakkoluulojen merkitystä. Samalla on mahdollista vetää raja siitä, ketkä pääsevät toiselle kierrokselle (eli arvontaan) vain hakemusten laadun perusteella. Nykyään toiselle kierrokselle otettavien hakemusten määrä on rajattu, joten oleellisesti yhtä hyvältä vaikuttavat hakemukset voivat päätyä tai olla päätymättä jatkoon, koska jokseenkin yhtä hyviä hakemuksia on paljon.

Naturen artikkelissa mainitaan myös vähemmän ilmeinen hyöty: kun kaikki tietävät, että rahan saaja on päätetty avoimen sattumanvaraisesti (toisin kuin nykyään, missä kyse on peitellystä sattumanvaraisuudesta), rahan saamista ei pidetä yhtä isona meriittinä. Täten saajat eivät pidä itseään niin paljon muita parempina – ja oletettavasti rahatta jääminen ei ole yhtä paha isku. Rahoituspäätökset kun ovat omanarvontuntokysymyksiä, vaikka tietäisi, että päätökset eivät luotettavasti mittaa pätevyyttä.

Rahoituksen arpominen vaikuttaa mielekkäältä vaihtoehdolta silloin, kun päteviä hakijoita on selvästi enemmän kuin myönnettäviä määrärahoja, ja luotettava erottelu niiden välillä vaatisi merkittävästi enemmän resursseja kuin mitä siihen ollaan valmiita laittamaan tai on mielekästä laittaa. Tämä on Helsingin yliopiston kolmivuotisten määrärahojen tilanne.

Ei ole selvää, tuottaisiko arvonta parempia tuloksia kuin nykyinen järjestelmä. Vastaavasti ei ole selvää, onko nykyinen järjestelmä parempi kuin arvonta. Tutkimusrahoituksen järjestelmät eivät ole evidence-based, eli ne eivät perustu tutkittuun tietoon ja kattaviin arvioihin eri vaihtoehdoista, joissa kaikki tekijät (kuten hakemuksiin käytetty aika ja niissä vaaditun liioittelun vääristävät vaikutukset) olisi huomioitu.

Kun hakijoille laaditaan entistä enemmän mittareita, olisi syytä kiinnittää huomiota siihen, mitä ne mittaavat ja kuinka luotettavia niiden tulokset ovat.