Framtíð rannsóknarmats: Samsetning núverandi umræðu og þróunar

Öflugt rannsóknarkerfi án aðgreiningar er gríðarlega mikilvægt fyrir bæði vísindi og samfélag til að efla grundvallarþekkingu og skilning og takast á við sífellt aðkallandi alþjóðlegar áskoranir. En rannsóknakerfið er undir þrýstingi vegna vaxandi væntinga margra aðila (þar á meðal fjármögnunaraðila, ríkisstjórna og útgáfugeirans), togstreitu milli krafta samkeppni og samvinnu, þróunar fræðilegs samskiptakerfis, árásargjarns – stundum – útgáfu- og gagnagreiningariðnaðar. og takmarkað fjármagn. Rannsóknafyrirtækið verður að stýra þessum kröfum og togstreitu um leið og viðhalda gæðum rannsókna, viðhalda heilindum rannsókna, vera innifalið og fjölbreytt og standa vörð um bæði grunn- og hagnýtar rannsóknir.

Undanfarinn áratug hefur þessari þrýstingi á og þörf fyrir viðbragð vísindakerfisins fylgt gagnrýnni hugleiðingar um kerfi rannsóknamats og árangursmælinga. Þó að viðeigandi, samhengisnæm aðferðafræði til að meta gæði og áhrif rannsókna sé mikilvæg, hafa umræður aukist um víðtæk, flókin og óljós áhrif núverandi matsviðmiða og mælikvarða á gæði og menningu rannsókna, gæði sönnunargagna sem upplýsa stefnumótun, forgangsröðun í rannsóknum og rannsóknafjármögnun, einstökum starfsferlum og líðan rannsakenda. Í sumum heimshlutum er vaxandi viðurkenning á því að þröngt og einfalt sett af matsmælum og vísbendingum fangar ekki á fullnægjandi hátt gæði, notagildi, heiðarleika og fjölbreytileika rannsókna. Venjulega notaðar - oft tímaritsbundnar - mælingar ná ekki að fanga mikilvægar viðbótarvíddir hágæða rannsókna eins og þær sem finnast í handleiðslu, miðlun gagna, samskiptum við almenning, hlúa að næstu kynslóð fræðimanna og greina og gefa vanfulltrúa hópum tækifæri. Auk þess að vera of þröngt að svigrúmi virðist spurningin um ranga beitingu mælikvarða og vísbendinga einnig skekkja hvata til árangurs, óhagræði sumum greinum (þar á meðal mikilvægum þverfaglegum og þverfaglegum rannsóknum) og kynda undir rándýrum og siðlausum útgáfuháttum.

Herferðir til að stemma stigu við rangri beitingu mæligilda, víkka gæðaviðmið og umbreyta rannsóknamenningu markvissari með stefnuskrám og yfirlýsingum, meginreglum og umbótum hafa sett grunninn fyrir alþjóðlega umræðu um nauðsyn þess að endurbæta rannsóknarmat. Þessar raddir kalla nú eftir því að fara frá stefnuskrám til aðgerða. Þetta er að gerast á bakgrunni umbreytinga á því hvernig rannsóknir eru framkvæmdar og miðlað. Uppgangur opinna rannsóknarramma og samfélagsmiðla, breyting yfir í verkefnismiðuð og þverfagleg vísindi, vöxtur í opinni ritrýni og umbreytingarmöguleika gervigreindar (AI) og vélanáms krefst nýrrar hugsunar um hvernig rannsóknir og vísindamenn eru metnir. .

Með hliðsjón af þessu er Global Young Academy (GYA)er InterAcademy Partnership (IAP) og Alþjóðavísindaráðið (ISC) sameinuðu krafta sína til að gera úttekt á umræðum og þróun í rannsóknamati um allan heim, með því að byggja á umfangsmiklum hópi vísindamanna og röð svæðisbundinna samráðs. Nýjar aðferðir eru í þróun og tilraunastarfsemi af æðri menntastofnunum og rannsóknarfjármögnum sums staðar í heiminum og nokkrar eru með í þessari grein. Í öðrum heimshlutum eru þessar umræður og aðgerðir í byrjun eða jafnvel fjarverandi. Þar sem rannsóknakerfi þróast mishratt er hætta á mismunun og sundrungu. Slíkur mismunur getur dregið úr þeirri einsleitni sem þarf til að gera rannsóknarsamstarf kleift og auðvelda hreyfanleika vísindamanna þvert á mismunandi landsvæði, geira og greinar. Hins vegar getur ein stærð ekki passað alla og það er þörf á samhengisnæmri viðleitni til að endurbæta mat, með viðurkenningu á staðbundnum áskorunum.

Með áherslu á rannsóknir hins opinbera og mat á rannsóknum og rannsakendum er þetta umræðuskjal alþjóðlegt í sínu sjónarhorni og fjallar um dagskrá sem einkennist venjulega af þróun í Evrópu og Norður-Ameríku: svæðisbundin sjónarmið og dæmi um þjóðarþróun og stofnanaumbætur eru auðkenndur. Alheims- og sameiginleg aðild að GYA, IAP og ISC táknar víðtækan þverskurð af vistkerfi rannsókna þar sem fjölbreytt umboð getur auðveldað raunverulegar kerfisbreytingar. Þessi grein leitast við að vera hvati fyrir GYA, IAP og ISC - sem vettvang fyrir gagnkvæmt nám, tilraunir og nýsköpun - til að vinna með meðlimum sínum, öðrum vísindastofnunum og lykilkjördæmum um allan heim, til að hefja og þróa samtöl og virkja meira án aðgreiningar og sameiginlegar aðgerðir.

Ráðleggingar fyrir GYA, IAP og ISC og meðlimi þeirra (sjá kafla 5) eru byggðar upp í kringum hlutverk þeirra sem talsmenn, fyrirmyndir, frumkvöðlar, fjármögnunaraðilar, útgefendur, úttektaraðilar og samstarfsaðilar, með leiðbeinandi tímaramma fyrir aðgerðir. Þessar aðgerðir fela í sér að skapa pláss til að deila lærdómi og niðurstöðum úr viðeigandi verkefnum hingað til (til að byggja upp starfssamfélag); til meðallangs tíma að kalla saman fjölþætta vettvanga með lykilkjördæmum til að endurhanna og innleiða mat á rannsóknum á raunhæfan, samhengisnæman og innifalinn hátt; og, til lengri tíma litið, að koma á fót nýjum rannsóknum sem stuðla að framtíðarhugsun, næm fyrir hröðum þróun í gervigreindartækni, jafningjarýniaðferðum og umbótum, og samskiptamiðlum.

The Global Young Academy (GYA), InterAcademy Partnership (IAP) og Alþjóðavísindaráðið (ISC) kom saman árið 2021 til að gera úttekt á áskorunum, umræðum og þróun í rannsóknamati/-mati um allan heim, þvert á fjölbreytta rannsóknamenningu og -kerfum, og til að kanna hvernig þeir gætu tekið þátt í og ​​haft áhrif á endurhugsun á rannsóknarmati/-mati fyrir 21. öld, á opinn og innifalinn hátt.

Alþjóðlegur mælingarhópur (viðauki A) var kallaður saman til að kanna sviðið og ráðleggja stofnununum þremur um hvernig þær gætu eflt núverandi viðleitni til að endurbæta mat á rannsóknum. Miðað við þessa vinnu var forsendan að (1) samstillt frumkvæði undir forystu vísindamanna myndi gefa hinu alþjóðlega rannsóknarsamfélagi sterkari rödd í mótun framtíðar rannsóknarmats og (2) það eru kostir við að „meta með þeim sem metið er“; þannig að hjálpa til við að marka leið að viðvarandi, kerfisbundnum breytingum á matsmenningu og starfsháttum.

Til viðbótar við skrifborðsrannsóknir, var röð svæðisbundinna samráðs við sérfræðinga sem tilgreindir voru af mælikvarðahópnum og samstarfsaðilum framkvæmt síðla árs 2021. Umræðuskjalið er aðalútgangur þessarar vinnu. Henni er ætlað að þjóna sem útboðslýsing fyrir könnunarsamræður við marga hagsmunaaðila, ekki síst hið alþjóðlega rannsóknarsamfélag sjálft.

Aðferðir við mat á rannsóknum þjóna mörgum markmiðum og eru framkvæmdar af mörgum hagsmunaaðilum. Þær eru notaðar til að leggja mat á rannsóknartillögur vegna fjármögnunarákvarðana, rannsóknarritgerða til útgáfu, vísindamanna vegna ráðningar eða stöðuhækkunar og frammistöðu rannsóknastofnana og háskóla. Þessi grein fjallar að mestu um mat á rannsakendum og rannsóknum og tekur ekki til stofnanamats eða röðunar, þó öll þessi matssvið séu órjúfanlega tengd. Núverandi starfshættir byggja mikið á megindlegum og að miklu leyti tímaritsbundnum mælikvarða, svo sem Journal Impact Factor (JIF), fjölda rita, fjölda tilvitnana, h-index og Article Influence Score (AIS). Aðrir mælikvarðar fela í sér markmið um styrktekju, mælikvarða á inntak (svo sem rannsóknarfjármögnun eða stærð rannsóknarteymis), fjölda skráðra einkaleyfa og, í seinni tíð, mælikvarðar á samfélagsmiðlum (áður „altmetrics“) eins og samfélagsmiðlahlutdeild eða niðurhal. Saman hafa þessar mælikvarðar djúpstæð áhrif á orðspor stofnana, rannsóknarhópa og einstaklinga, áætlanir um einstaklings- og samvinnurannsóknir, ferilferil og úthlutun auðlinda.

Á síðustu tveimur áratugum hefur alþjóðleg fjárfesting í rannsóknum og þróun (R&D) þrefaldast – í um 2 billjónir Bandaríkjadala á ári. Undanfarin ár ein og sér hafa skilað hraðasta vexti útgjalda til rannsókna og þróunar síðan um miðjan níunda áratuginn, eða um 1980% (UNESCO, 19) [2021]. Þessi auka fjárfesting í rannsóknum hefur í för með sér ábyrgðarmenningu sem veldur þrýstingi á rannsóknarstofnanir og einstaklinga og getur valdið frávikum, eða ranghverfum hvata, til að bregðast við. Það hefur einnig leitt til meiri vonar: að viðhalda gæðum og draga úr rannsóknarsóun, mistökum og óhagkvæmni; hámarka þátttöku og fjölbreytileika; hagræða rannsóknum sem almannagæði á heimsvísu; og stuðla að opnari og virkari námsstyrk. Án umbóta er gæðum rannsókna, heilindum, fjölbreytni og gagnsemi ógnað.

Megindlegar mælingar geta verið mikilvægur hluti af mati á rannsóknum, við umskipti yfir í opnara, ábyrgra og almenningi rannsóknakerfi (Konunglega félagið, 2012) [2]. En þeir eru líka að hluta til ábyrgir fyrir því að kynda undir „birtu eða farist“ rannsóknarmenningu sem er til staðar um allan heim, með skaðlegum áhrifum á gæði rannsóknarúttaks, heilleika og áreiðanleika rannsóknakerfa og fjölbreytileika rannsóknasamfélaga (td. Hausstein og Larivière, 2014) [3]. Þetta er vegna þess að mælikvarðar eru notaðir sem umboð fyrir rannsóknargæði jafnt af stofnunum, stefnumótendum og fjármögnunaraðilum rannsókna, en þær eru mælikvarði á úttak en ekki rannsóknargæði eða áhrif í sjálfu sér. Sem slíkir gera þessir leikarar mikið til að setja félagslegt og menningarlegt samhengi sem rannsóknir eiga sér stað í, og umbunar- og kynningarkerfi háskólans móta val vísindamanna á öllum stigum ferilsins (Macleod o.fl., 2014) [4].

„Notkun bókfræðivísitalna... sem staðgengilsmælikvarða fyrir frammistöðu rannsakenda er þægileg matsvísitala en mjög gölluð. Flestir leggja stanslausa áherslu á árangur einstakra manna, þynna út rannsóknarstuðning með áhuga háskóla á mælingum með mikla áhrif, þrýsta á alla til að „merkja í kassa“ og samræmast, á meðan þeir gegna mikilvægu hlutverki við að skekkja tímaritsútgáfumarkaðinn. Það er brýn þörf á umbótum."

Opnun vísindaskrár (2021), Alþjóðavísindaráðsins

Annað samfélag hagsmunaaðila sem hefur mikil völd og áhrif á miðlun rannsókna og þekkingarframleiðslu er útgáfugeirinn. Tímaritatengdar mælingar hafa orðið öflugur hvati til að birta í viðskiptatímaritum og geta hvatt til hegðunar sem getur haft alvarlegar aukaverkanir. Frekar en að dæma niðurstöður rannsókna á vísindalegum kostum þeirra, eru það álitin gæði tímaritsins sem það er birt í sem er reglulega viðurkennt sem sönnunargagn um vísindaleg gæði, sem knýr mjög viðskiptalegan útgáfumarkað sem byggir á orðspori frekar en vísindum. Kostnaður við opinn aðgang fellur að mestu til vegna vinnslugjalda höfunda (APC): þeir geta verið óhóflega háir, sérstaklega í sumum heimshlutum, skapað hindranir fyrir útgáfu rannsókna fyrir auðlindalausa vísindamenn og hugsanlega hætta á að alþjóðlega vísindasamfélagið brotni niður. Áhættan af því að verða sífellt háðari söluaðilum og notkunarskilmálum þeirra á öllum stigum rannsóknarferlisins skapar sterk rök fyrir valkostum sem ekki eru í hagnaðarskyni. Ennfremur, þar sem ritfræðilegir vísbendingar hafa veitt ríkjandi uppsprettu hvata í háskólum, hafa þeir dregið úr gildi menntunar og annars konar vísindastarfs (svo sem kennslu og stefnumótunarráðgjöf). Þar sem rannsóknarmatskerfi hafa tilhneigingu til að hygla þeim sem tryggja sér stóra styrki og birta í tímaritum með mikla áhrifaþætti, eru vísbendingar sem benda til þess að vísindamenn sem þegar hafa náð árangri séu líklegri til að ná árangri aftur ('Matthew áhrif', Bol o.fl., 2018) [5].

Þegar fræðiútgáfa verður matsaðferð frekar en miðlun, þá er það óhagræði fyrir þá sem kjósa að koma rannsóknum sínum á framfæri á annan marktækan hátt (Skýrsla ISC 2021) [6]. Þetta felur í sér sameiginlega útkomu (og að öllum líkindum aðalgjaldmiðillinn) Global Young Academy (GYA), InterAcademy Partnership (IAP) og International Science Council (ISC): skýrslur, vinnuskjöl, sameiginlegar yfirlýsingar, ritstjórnargreinar álits, fréttir og vefnámskeið. . Sumar greinar eru einnig illa settar: til dæmis vísindamenn í verkfræði og tölvunarfræði þar sem (venjulega hraðari) samskipti í gegnum ráðstefnur og framganga þeirra eru mikilvæg; og þeir í hugvísindum og félagsvísindum sem nota venjulega einrit, bækur og fagtímarit.

Aðrir velja að birta í rannsóknarsértækum eða staðbundnum tímaritum, eða hafa ekki efni á að birta rannsóknir sínar (hvern sem það er hágæða) í tímaritum með opnum aðgangi með háum áhrifaþáttum (og samhliða háum APC); hið síðarnefnda er óhagræði fyrir þá sem eru í lágtekjulöndum, sérstaklega fræðimenn á fyrstu stigum starfsferils (ECR). Þessir sömu vísindamenn eru undir miklum þrýstingi um fastráðnar akademískar stöður og hegðun þeirra er sterklega háð megindlegu viðmiðunum sem notuð eru af rannsóknarsjóðum og ráðningar- og kynningarráðum stofnana. Freistingin að hugsa með vísbendingum (Muller og de Rijcke, 2017) [7], og jafnvel „leikja“ kerfið, er veruleiki fyrir alla vísindamenn alls staðar í heiminum (td Ansede, 2023) [8].

Birtingarmyndir þessarar spilamennsku eru meðal annars vísindamenn (meðvitað eða óviljandi) sem nota rándýr tímarit og ráðstefnur til að auka útgáfufjölda þeirra (IAP, 2022 [9]; Elliott et al., 2022 [10]), láta undan sjálfum sér og falsa ritrýni, ritstuld, verðbólguáhrifaþátta og „salami-sneið“ (skipting stórrar rannsóknar sem hefði verið hægt að segja frá í einni rannsóknargrein í smærri birtar greinar) (Collyer, 2019) [11]. Undir þrýstingi geta vísindamenn freistast til að grípa til rándýrrar þjónustu í þeim eina tilgangi að fá doktorsgráðu sína, fá ráðningu eða stöðuhækkun eða fá rannsóknarverkefni sín fjármögnuð (td. Abad-García, 2018 [12]; Omobowale o.fl., 2014) [13]. Mæli-drifin fræðimenn og fræðileg útgáfukerfi knýja fram skaðlega hvata: þar sem rannsakandi birtir er mikilvægara en það sem þeir birta.

Áhrifin á gæði og heiðarleika rannsókna eru gríðarlega áhyggjuefni. Fjöldi fræðigreina sem dregið hefur verið til baka hefur stóraukist á undanförnum árum, vegna misferlis rannsókna og birtingar og lélegra eða sviksamlegra gagnagagna. Tímarit geta tekið mánuði til ár að draga til baka óáreiðanlegar rannsóknir, en þá gæti þegar verið vitnað í þær margoft og verið í almenningi (Ordway, 2021) [14].

Yfirgnæfandi mælikvarðadrifið rannsóknarmat er ótvírætt og það eru ólíkar tilhneigingar á heimsvísu þegar kemur að umbótum á mati, sem eiga á hættu að skilja hluta rannsóknarsamfélagsins eftir. Í greiningu sinni á hnattrænu landslagi rannsóknarmats (Curry o.fl., 2020 [15]; lagt fram), virðist sem margar rannsóknar- og fjármögnunarstofnanir í löndum/svæðum með hærri tekjur séu farnar að innihalda víðtækara sett af vísbendingum, svo sem eigindlegum „áhrifa“-mælingum, á meðan bókfræði er enn ríkjandi í stofnunum í „alþjóðlegu suðurhlutanum“ [16 ], þvert á allar greinar. Án aðgerða án aðgreiningar er hætta á að innlend matskerfa sé ólík, sem gæti hugsanlega innleitt enn frekari kerfislæga hlutdrægni og hugsanlega ósamrýmanleika í rannsóknum, mati, fjármögnun og útgáfukerfum. Þetta getur aftur á móti hamlað alþjóðlegu rannsóknarsamstarfi og hreyfanleika vísindamanna. Með því að skapa hindranir á norður-suður samstarfi getur það einnig hamlað samhliða styrkingu vistkerfa rannsókna á hnattræna suðurhlutanum - öflugt rannsóknarmat styrkir vistkerfi rannsókna og traust á þeim, dregur úr líkum á atgervisflótta og hjálpar til við að koma á sterkum mannauði til sjálfbærrar þróun. Engu að síður skapa einhliða útgáfur af því sem telst góður árangur af hegðun sem ekki endilega stuðlar að ágæti, sanngirni, gagnsæi og þátttöku. Það er í besta falli vafasamt að mæla árangur fræðimanna sem hafa þrifist í stuðningsríku umhverfi þar sem tækifærin eru mikil, á sama hátt og þeir sem hafa barist við áskoranir og sigrast á hindrunum í fjandsamlegu og óstuðningsfullu umhverfi (GYA, 2022) [17]. Margir fræðimenn finna fyrir sögulegri og landfræðilegri útilokun frá rannsóknarsamfélaginu, að miklu leyti knúinn áfram af því hvernig þeir eru metnir á ferlinum. Með því að útiloka sumar tegundir rannsókna og mistakast að virkja fjölbreytileika hugmynda á heimsvísu er hætta á að núverandi rannsóknarmatsaðferðir stuðli að almennri/fylgjendamenningu ríkjandi vestrænna hugsuðra líkana.

Vísindamenn í lágtekjulöndum og á fyrstu stigum ferils þeirra þurfa rödd svo þeir geti hjálpað til við að móta ný matslíkön á samhengisnæman hátt sem hentar tilgangi og gerir grein fyrir þeim áskorunum sem þeir standa frammi fyrir daglega. dagsgrundvelli. GYA og vaxandi fjöldi National Young Academy gefa ECRs þessa rödd, og Vinnuhópur GYA um vísindalegt ágæti [18] setur fram skoðanir sínar á umbótum á rannsóknarmati (sjá texta hér að neðan).

Sjónarmið frá samfélagi fræðimanna snemma á ferlinum

Rannsakendur á frumstigi (ECR) hafa sérstakar áhyggjur af starfsháttum við mat á rannsóknum vegna þess að starfshorfur þeirra og leit að rannsóknaráætlun þeirra fer mjög eftir því hvernig þeir eru metnir. Þetta upplýsir fjármögnun, ráðningar og kynningaraðferðir á þann hátt sem ekki er alltaf álitinn sanngjarn og sanngjarn.

Þó að augljóst sé að fjármögnunar- og mannauðsákvarðanir hafi áhrif á samsetningu vinnuafls vísindamanna, er ekki alltaf viðurkennt að með áhrifum sínum á fjármögnun mótar rannsóknarmat hvata fyrir stofnanir og rannsakendur til að fara ákveðna rannsóknarbraut, vinna. á ákveðnu sviði eða taka þátt í sumum netkerfum umfram önnur. Þannig mótar rannsóknarmat þróun vísindanna sjálfra og á það sérstaklega við í tengslum við óhófleg áhrif þeirra á horfur og væntingar ECRs.

Þrátt fyrir að vísindi séu alþjóðlegt fyrirtæki standa sumir fræðimenn frammi fyrir hærri hindrunum til að komast inn í og ​​taka þátt í rannsóknarsamfélaginu vegna þess hvar þeir fæddust, sjálfsmynd þeirra eða félags- og efnahagslegum bakgrunni. Þetta er spurning um skipulag vísindaiðnaðarins en ekki rannsóknarmat í sjálfu sér, en margir ECR-menn telja að matsviðmið ættu ekki að vera blind á þennan raunveruleika reynslu vísindamanna og ættu ekki að setja samræmdar og staðlaðar viðmiðanir fyrir mismunandi aðstæður.

Rannsóknir á vegum Scientific Excellence Working Group GYA (væntanleg skýrsla) sýna að mat á rannsóknum gæti frekar verið knúið áfram af rannsóknarstefnu lands en af ​​menningar- eða vísindaumræðum. Með áherslu á framgangsviðmið til fulls prófessors (eða sambærilegs) í akademíu, sýnir skýrslan að landsstefnur og stofnanir hafa tilhneigingu til að hafa sérstök skjöl sem setja fram viðmiðanir þeirra fyrir mat á rannsóknum. Frekar en að fela í sér mikið og fjölbreytt sett af viðmiðum sem hægt væri að nota til að mynda yfirgripsmikla sýn á rannsakanda, hafa þessi skjöl tilhneigingu til að einblína á eina vídd eða forgangsverkefni. Sem dæmi má nefna að sum skjöl beinast að mati á þjónustustarfsemi rannsakanda (svo sem kennslu og leiðsögn) eða sum um uppsafnaðan árangur rannsakanda (til dæmis hvað varðar fjölda tímaritsgreina) – en sjaldnast hvort tveggja.

Það eru tvær meginályktanir af þessari niðurstöðu. Í fyrsta lagi er það rannsóknarmat stigskipt og ofan frá. Þetta skapar áhættu, að því leyti sem bæði mælikvarðar og eigindlegar aðferðir horfa oft framhjá fjölbreytileika rannsakenda: bæði í bakgrunni þeirra og starfsferlum og - ekki síður mikilvægt - fjölbreytni í aðferðum og hugmyndum. Aftur á móti finnst ECR sem eru fulltrúar í GYA mikilvægt að viðurkenna fjölbreytileika starfsemi sem er nauðsynleg fyrir rannsóknarfyrirtækið og móta rannsóknarmatskerfi sem stuðla að fjölbreytileika og fjölhyggju frekar en að krefjast samræmis og samþykkis.

Í öðru lagi er munur á milli fræðigreina minna marktækur en munur eftir efnahagslegri stöðu landa þar sem rannsakandi starfar. Lönd með lægri tekjur virðast reiða sig á megindlega mælikvarða og umbuna „framleiðni“ á meðan lönd með hærri tekjur eru sífellt opnari fyrir eigindlegu mati á áhrifum. Ef þessi mismunur þróast enn frekar gæti það verið frekari hindrun fyrir alþjóðlegan hreyfanleika fræðimanna – sem er sérstaklega mikilvægt fyrir ECR.

Að endingu er lögð áhersla á að GYA skýrslan sé ekki til staðar: Mat á rannsóknum ætti að miða að markmiðum mats og að lokum markmiðum stofnunar eða rannsóknarstefnu lands. Mat ætti að gera ráð fyrir fjölbreytileika rannsóknarsniða og starfsferla og taka upp mismunandi áherslur eftir tilgangi matsins. Þar sem vísindin eru alþjóðlegt og sjálfsgagnrýnt samtal er ytra mat ekki alltaf nauðsynlegt. Reyndar er oft deilt um notkun og raunverulegt gildi svívirðilegrar röðunar (af fólki, stofnunum, sölustöðum eða jafnvel heilum löndum).

Hnattrænar áskoranir nútímans, sem margar hverjar eru settar fram í sjálfbæra þróunarmarkmiðum Sameinuðu þjóðanna (SÞ), krefjast umbreytandi, þverfaglegra og þverfaglegra rannsókna, sem sjálfar krefjast nýrra aðferða við afhendingu rannsókna og samvinnu (ISC, 2021) [19]. Brýnt er að gera rannsóknir án aðgreiningar, þátttakenda, umbreytandi, þverfaglegra rannsókna sambærilegar við það hvernig rannsóknir eru studdar, metnar og fjármagnaðar - til að rannsóknir standi við loforð sitt til samfélagsins, þurfa þær opnari, innifalin, samhengisnæmari matskerfi (Gluckman, 2022) [20]. Innbyggð hegðun fræðimanna, fjármögnunaraðila og útgefenda getur gert breytingar erfiðar, þannig að fjárfesting getur mögulega verið beint í burtu frá þeim sviðum sem eru í mestri þörf.

Vöxtur þverfaglegra og þverfaglegra rannsókna og þátttöku- eða borgaravísinda er mikilvæg þróun og mikilvæg til að takast á við alþjóðlegar áskoranir. Þar sem rannsóknir fara þvert á landamæri fræðigreina og stofnana og taka til breiðari hóps hagsmunaaðila – þar á meðal notendasamfélagið til að móta brýnar rannsóknarspurningar fyrir samfélagið – eru hefðbundin viðmið fyrir fræðilegt rannsóknarmat ófullnægjandi og geta jafnvel takmarkað þverfaglega rannsóknaþróun og notkun (Belcher o.fl., 2021) [21]. Meira viðeigandi meginreglur og viðmið eru nauðsynlegar til að leiðbeina þverfaglegri rannsóknastarfsemi og mati: snemma dæmi um gæðamatsramma byggist á meginreglum um mikilvægi, trúverðugleika, lögmæti og notagildi (Belcher o.fl., 2016) [22].

Leiðir sem rannsóknir eru framkvæmdar á, fjármagnaðar, framkvæmdar og miðlaðar eru að þróast í hraða og krefjast hraða endurbóta á mati á rannsóknum. Þau innihalda eftirfarandi:

(1) Umskipti yfir í opin vísindi

Opin vísindahreyfingin krefst samhliða umbóta á rannsóknarmatskerfum til að auka hreinskilni og gagnsæi. Margar mælikvarða og mælikvarða sem notaðir eru til að mæla árangur í rannsóknum eru sjálfir ógegnsæir og oft reiknaðir á bak við lokaðar viðskiptadyr. Þessi skortur á gagnsæi kemur í veg fyrir sjálfræði rannsóknarsamfélagsins - það takmarkar möguleika til að meta, prófa, sannreyna og bæta rannsóknarvísa (Wilsdon o.fl., 2015 [23]). Ábyrgt rannsóknarmat er að verða kjarnaþáttur alþjóðlegra aðgerða í átt að opnum vísindum, eins og sést til dæmis í tilmælum Mennta-, vísinda- og menningarstofnunar Sameinuðu þjóðanna (UNESCO) um opin vísindi (UNESCO, 2021 [24]) – sem felur í sér þróun opins vísindaverkfæra fyrir meðlimi þess til að hjálpa þeim að endurskoða og endurbæta rannsóknarferilmat sitt og matsviðmið [25].

(2) Þróun í ritrýni

Vöxtur opinnar ritrýni – hvort sem það er birt ritrýniskýrslur og/eða opinbera auðkenningu gagnrýnenda – er mikilvæg þróun fyrir rannsóknarmat (Barroga, 2020 [26]; Woods o.fl., 2022 [27]). Vöxtur gagnainnviða hefur gert útgefendum kleift að búa til Digital Object Identifiers (DOIs) fyrir ritrýniskýrslur, tengja ritrýniskýrslur við einstök Open Researcher og Contributor ID (ORCID) og birta greinar sem forprentanir. Fjöldi forprenta jókst umtalsvert meðan á heimsfaraldri COVID-XNUMX stóð og afhjúpaði þær áskoranir sem skapast við mat á rannsóknum í hraðsvörunarham. Engu að síður geta opnar ritrýniaðferðir – hvort sem þær eru fyrir eða eftir birtingu – hjálpað til við að trufla eftirlitið sem útgefendur hafa yfir rannsóknasamskiptum og þekkingarframleiðsluferlum, og dregið úr krafti vísindatímaritsins og tengdra mælikvarða eins og JIF. Opnar skrár yfir ritrýnistarfsemi geta einnig veitt innviði til að skrásetja – og með tímanum skapað meiri virði í – ritrýnistarfsemi, sem er mikilvæg fagþjónusta sem oft er að mestu ósýnileg og vanmetin í fræðilegu mati (Kaltenbrunner o.fl., 2022 [28]).

(3) Beiting gervigreindar og vélanáms

Tækniframfarir í gervigreind (AI) og vélanámi munu líklega hafa djúpstæðar afleiðingar fyrir mat á rannsóknum, þar á meðal ritrýniferli sem styðja það (td. Holm o.fl., 2022 [29]; Proctor o.fl., 2020 [30]). Gervigreind er nú þegar notuð til að hagræða og styrkja jafningjarýni (Náttúra, 2015 [31]; Náttúra, 2022 [32]), prófaðu gæði ritrýni (Severin o.fl., 2022 [33]), prófaðu gæði tilvitnanna (Gadd, 2020 [34]), uppgötva ritstuld (Foltýnek o.fl., 2020 [35]), grípa vísindamenn sem lækna gögn (Quach, 2022 [36]) og finna ritrýnendur, sem sífellt skortir vegna þess að þetta verk fær ekki þann heiður sem það á skilið í mati rannsakenda. 'Conversational AI', eins og ChatGPT (Chat Generative Pre-Trained Transformer), hefur getu til að hanna tilraunir, skrifa og klára handrit, framkvæma ritrýni og styðja ritstjórnarákvarðanir um að samþykkja eða hafna handritum (Náttúra, 2023 [37]). Það er líka möguleiki fyrir gervigreind til að bæta skilvirkni ritrýni með því að nota reiknirit til að létta álagi ritrýnenda sem dómara um úttak rannsókna (Náttúra, 2022 ). Nú þegar er verið að prufa notkun gervigreindar í Kína til að finna dómara (Náttúra, 2019 [39]).

Öll þessi gervigreind forrit geta dregið úr þessari byrði og gert reyndum sérfræðingum kleift að einbeita mati sínum að gæðum rannsókna og flóknara mati (Thelwall, 2022 [40]). En þeir eiga líka á hættu að dreifa hlutdrægni vegna þess að þeir eru forspártækni sem styrkir núverandi gögn sem geta verið hlutdræg (til dæmis eftir kyni, þjóðerni, þjóðerni eða aldri): Reyndar gæti notkun gervigreindar sjálfrar notið góðs af dýpri skilningi á því hvað felst í „gæði“ ' rannsókn (Chomsky o.fl., 2023 [41]; ISI, 2022 [42]).

Hins vegar er mikilvægt að allar gerðir gervigreindar og vélanáms séu opnar fyrir misnotkun (Blauth o.fl., 2022 [43]; Bengio, 2019 [44]). Fræði- og rannsóknarsamfélög munu þurfa að byggja upp viðbúnað og viðnám gegn þessu, vinna með stjórnvöldum, iðnaði og borgaralegu samfélagi sem stjórnar þessu rými.

(4) Uppgangur samfélagsmiðla

Hefðbundnar megindlegar mælingar á áhrifum rannsókna gera ekki grein fyrir aukinni þátttöku á samfélagsmiðlum og fræðimönnum/fræðimönnum sem tengjast samfélagsnetum (Jórdanía, 2022 [45]). Margir fræðimenn nota samfélagsmiðla til að virkja samfélög, stefnumótendur og almenning á meðan rannsóknarverkefni þeirra stendur yfir; að taka jákvæðan þátt í, prófa og upplýsa rannsóknir sínar og koma með fjölbreyttar hugmyndir og inntak, frekar en að birta lokaútgáfuna sem fullnægjandi atburði fyrir viðtakendur. Þessi þátttaka er ekki tekin upp með hefðbundnum tegundum rannsóknarmats en getur leitt til víðtækari áhrifa og tækifæri til að ná til. Samfélagsmiðlamælingar ('altmetrics') eru þróaðar sem framlag til ábyrgra mælinga (Wouters o.fl., 2019 [4]) og innihalda Twitter eða Facebook ummæli og fjölda fylgjenda á ResearchGate, til dæmis. Annars vegar geta þessar altmetrics hjálpað til við að opna, skapa rými og víkka mat (Rafols og Stirling, 2021 [47]) en á hinn bóginn - eins og aðrar vísbendingar - er einnig hægt að nota á óábyrgan hátt og/eða sjást til að setja annað lag mæligilda í matskerfum.

Áskoranir við umbætur á rannsóknarmati eru margþættar. Nokkrar af þeim merkustu eru sýndar hér.

Allar umbætur sem fela í sér eigindlegri ráðstafanir verða – á sama tíma – að standa vörð um gæði grunnrannsókna og hagnýtra rannsókna. Það eru vísbendingar um að sumir vísindamenn séu sjálfir á móti umbótum, kannski sérstaklega háþróaðir starfsrannsakendur sem hafa þrifist vel í núverandi kerfi, vegna þess að þeir óttast að það eigi á hættu að kynda undir miðlungs rannsóknum, eða að eigindlegri matsaðferðir geti verið beittar fram yfir grunnrannsóknir. Umbætur á matsviðmiðum rannsókna hafa tilhneigingu til að vera byggðar á hreyfingum í átt að verkefnismiðuðum, samfélagslega áhrifaríkum rannsóknum sem höfða til almennings og pólitísks stuðnings á þann hátt sem minna áþreifanlegar grunnrannsóknir eða bláhiminrannsóknir gera það ekki. Sumir halda því fram að það þurfi blæbrigðaríkari túlkun á „gildi“ rannsókna til að undirbyggja nýsköpun, þar sem framtíðin krefst áframhaldandi fjárfestingar í grundvallarrannsóknum, forvitnidrifnar rannsóknir og víðtækari skilning á því mikilvæga hlutverki sem hún gegnir í getu til að bregðast við alþjóðlegum áskorunum (GYA, 2022 [48]).

Skortur á samræmi í merkingu og notkun rannsóknarhugtaka, almennt séð, er hindrun í vegi fyrir breytingum. Hugmyndarammi fyrir mat á rannsóknum hefur ekki breyst efnislega í tímans rás, né tungumálið sem styður það: rannsóknarkerfið er enn fast í gömlum tvískiptingum eins og „grunnvísindum“ og „beitt“ vísindum og hugtökum eins og „áhrif“, „gæði“. (óhjálpsamlega sett að jöfnu við framleiðni) og „árangur“ eru ekki skýrt skilgreind á þann hátt að forðast landfræðilega, agalega, starfsferil og kynjahlutdrægni (Jong o.fl., 2021 [49]): þetta gæti verið sérstaklega bráð í ákvarðanatökunefndum sem skortir fjölbreytni (Hatch og Curry, 2020 )[50].

Eins og mælikvarðadrifið mat, eru eigindlegri matsform líka ófullkomin. Það er ekki einfalt að færa rök fyrir því að ritrýniferli og mat sérfræðinga séu að minnsta kosti jafn mikilvæg og bókfræði. Þeir geta verið hlutdrægir vegna skorts á skýrleika og gagnsæi í ritrýniferlinu. Jafningjarýninefndir, til dæmis, hafa verið gagnrýndar sem aðferðir sem varðveita rótgróið form valds og forréttinda með því að gera „gamla stráka“ netum og hómófíli (matsmönnum sem leita að þeim eins og þeir sjálfir) til að halda áfram, á sama tíma og þeir eru einnig viðkvæmir fyrir gangverki hóphugsunar. Litið er á magnmælingar, þó þær séu ófullkomnar, sums staðar í heiminum sem vörn gegn frændhygli og hlutdrægni. Svipuð rök má beita við ritrýni rannsóknarritgerða, þar sem notkun eigindlegra mats getur hugsanlega opnað dyrnar fyrir annars konar mismununarhegðun.

Skortur á faglegri viðurkenningu og þjálfun fyrir ritrýni í hvaða formi sem er veldur því að það dregur úr hvata til að starfa sem ritrýni og dregur þar með úr getu. Ennfremur, þar sem eftirspurn er meiri en framboð, getur það skapað hvata til að skera úr og draga úr hörku. Það þarf að auka gagnsæi jafningjarýni (hvort sem það er að fullu opið, nafnlaust eða blendingur) og þjálfun, hlúa að og umbuna góðri ritrýni; sem og frekari rannsóknir á líkönum fyrir þróun þess eftir því sem rannsóknarframleiðsla er fjölbreytileg (IAP, 2022 [51]) og gervigreind tækni fara fram.

Umræður um umbætur á rannsóknarmati eru flóknar og ekki tvíþættar. Eigindlegar og megindlegar upplýsingar hafa oft verið sameinaðar í ritrýnisamhengi: staðhæfingar eins og Leiden Manifesto for Research Metrics (Hicks o.fl., 2015 [52]) kalla eftir „upplýstu jafningjarýni“ þar sem mat sérfræðinga er studd – en ekki leidd af – viðeigandi völdum og túlkuðum megindlegum vísbendingum og með eigindlegum upplýsingum. Umræðan um mat á rannsóknum er ekki tvíundarlegt „eigindlegt versus megindlegt“ val á matstækjum, heldur hvernig á að tryggja bestu samsetningu margvíslegra upplýsinga.

Að lokum verða allar umbætur einnig að vera þægilegar og framkvæmanlegar. Rannsóknakerfið er nú þegar að sýna merki um að hrynja undir sjálfu sér, þar sem magn rita eykst veldishraða og endurskoðunarbyrðin fellur ójafnt yfir rannsóknarfyrirtækið (td. Publons, 2018 [53]; Kovanis o.fl., 2016 [54]; Náttúra, 2023 [55]). Tímaritatengdar mælikvarðar og h-vísitalan, ásamt eigindlegum hugmyndum um álit útgefenda og orðspor stofnana, geta veitt þægilegar flýtileiðir fyrir upptekna matsaðila og komið á framfæri hindrunum fyrir breytingum sem hafa fest sig djúpt í sessi í fræðilegu mati (Hatch og Curry, 2020 [56]). Magnmælingar eru fagnaðar í sumum löndum fyrir að veita tiltölulega skýrar og ótvíræðar leiðir fyrir skipun og stöðuhækkun. Í „Global South“ eru meðaláhrifaþættir reglulega notaðir til að velja umsækjendur í stuttan lista og allir valkostir verða að vera jafn framkvæmanlegir og geta nýtt sér viðbótarúrræði sem óhjákvæmilega þarf til að víkka umfang matsins. Þægindin við að nota einfaldar megindlegar mælikvarðar við mat á rannsóknum er líkleg til að vera mikil hindrun fyrir breytingum og innleiðing nýrra matskerfa getur jafnvel skapað meira alþjóðlegt misrétti vegna skorts á getu eða hæfni í sumum löndum.

Undanfarinn áratug hefur verið röð áberandi stefnuskráa og meginreglna um mat á rannsóknum til að takast á við þessar áskoranir, þar á meðal Leiden Manifesto (þróað af hópi alþjóðlegra sérfræðinga), Hong Kong meginreglur (Moher o.fl., 2020 [57]) (þróað á 6. heimsráðstefnunni um heilindi rannsókna árið 2019) og The Metric Tide [58] og Að virkja Metric Tide [59] skýrslur (unnar í tengslum við endurskoðun á rannsóknar- og matsramma Bretlands, REF). Það eru að minnsta kosti 15 mismunandi viðleitni sem hvetja lykilhagsmunaaðila - hvort sem er stefnumótendur, fjármögnunaraðila eða forstöðumenn æðri menntastofnana - til að lágmarka hugsanlega skaða núverandi matskerfa. Öll þessi framtaksverkefni hafa náð til breiðs markhóps og eru framsækin í áherslum sínum á ábyrgar mælikvarðar sem forsenda þess að bæta rannsóknamenningu og koma jafnrétti, fjölbreytileika, þátttöku og tilheyrandi inn í rannsóknarsamfélagið. En það eru vaxandi áhyggjur hjá sumum arkitektum þessara verkefna að þótt þau séu gagnleg, dragi þau úr áþreifanlegum raunhæfum aðgerðum: athöfnin að vera undirritaður er aðeins árangursríkur ef fylgt er eftir með raunhæfri framkvæmd (Náttúra, 2022 [60]).

Það er vaxandi stuðningur við „ábyrgt rannsóknarmat eða mat“ og „ábyrgar mælikvarðar“ (DÓRA, 2012 [61]; Hicks et al. 2015 [62]; Wilsdon o.fl., 2015) sem hverfa frá eingöngu megindlegum mælingum yfir í fjölbreyttari ráðstafanir til að gera vísindamönnum kleift að lýsa efnahagslegum, félagslegum, menningarlegum, umhverfislegum og stefnulegum áhrifum rannsókna sinna; að gera grein fyrir atriðum sem rannsóknarsamfélagið metur: „gögn til góðs“ eða „gildastýrð vísbendingar“ sem fjalla um víðtækari eiginleika (Curry o.fl., 2022 [63]). Á undanförnum árum hafa nýstárlegar og framsæknar nálganir við ábyrgt rannsóknarmat verið þróaðar og prófaðar af sumum háskólastofnunum og rannsóknarfjármögnum á svæðum og löndum um allan heim. Sumt er auðkennt hér.

Af alþjóðlegum frumkvæðisverkefnum sem nefnd eru hér að ofan, 2013 San Francisco 'Yfirlýsing um rannsóknarmat' [64] (DORA) er kannski virkasta alþjóðlega framtakið. Það hefur skráð vandamál sem orsakast af því að nota tímaritsvísa til að meta frammistöðu einstakra vísindamanna og gefur 18 ráðleggingar til að bæta slíkt mat. DORA dregur afdráttarlaust úr notkun tímaritsbundinna mælikvarða til að meta framlag rannsakanda eða þegar leitast er við að ráða, kynna eða fjármagna. Frá og með miðjum apríl 2023 hefur yfirlýsingin verið undirrituð af 23,059 undirrituðum (stofnunum og einstaklingum) í 160 löndum, sem skuldbinda sig til umbóta. Með áherslu á að sigla um innri áskoranir og meðfædda hlutdrægni eigindlegs mats er DORA að þróa Verkfæri til að auka rannsóknarmat (TARA) [65] til að hjálpa til við að koma yfirlýsingunni í framkvæmd: þessi verkfæri innihalda mælaborð til að skrá og flokka nýstárlegar stefnur og starfshætti í starfsmati og verkfærasett af úrræðum til að hjálpa til við að draga úr hlutdrægni nefnda og til að viðurkenna mismunandi, eigindleg form rannsóknaráhrifa.

Að auki styrkir DORA tíu verkefni - í Argentínu, Ástralíu, Brasilíu, Kólumbíu (2), Indlandi, Japan, Hollandi, Úganda og Venesúela - til að prófa mismunandi leiðir til að stuðla að umbótum í rannsóknarmati í staðbundnu samhengi, sem og að taka saman dæmi um góða starfshætti: til dæmis vitundarvakning, þróun nýrrar stefnu eða starfsvenju, þjálfun og hagnýt leiðbeiningar fyrir umsækjendur um starf (Dóra [66]). Eftirspurn eftir styrkjum af þessu tagi hefur verið mikil – yfir 55 umsækjendur frá 29 löndum – sem bendir til vaxandi viðurkenningar á þörfinni á umbótum.

Fagleg rannsóknarstjórnunarsamtök eins og International Network of Research Management Societies (INORMS) hafa einnig verið virkir að þróa úrræði til að leiðbeina skipulagsbreytingum, þ.m.t. UMVIÐ Rammarannsóknarmatshópur | INORMS – Rammi INORMS SCOPE fyrir rannsóknarmat [67] sem byrjar á því að skilgreina hvað er metið, hverjir eru metnir og hvers vegna (gagnlegt útskýringarplakat hér [68]).

Alþjóðlegi þróunargeirinn hefur boðið upp á ný sjónarhorn á mat á rannsóknum, sem dæmi um það Research Quality Plus | IDRC – International Development Research Center [69], sem mælir það sem skiptir máli fyrir fólk við móttökulok rannsókna. Rannsóknargæða plús (RQ+) tólið viðurkennir að vísindaleg verðleiki er nauðsynlegur en ekki fullnægjandi, og viðurkennir afgerandi hlutverk notendasamfélagsins við að ákvarða hvort rannsóknir séu viðeigandi og lögmætar. Það viðurkennir einnig að rannsóknauppfærsla og áhrif hefjast á meðan á rannsóknarferlinu stendur. Rannsóknaumsóknir eru oft metnar af mjög þverfaglegum nefndum, sem einnig innihalda þróunarsérfræðinga utan háskóla (td ríkisdeild eða frjáls félagasamtök), sérfræðingar og fulltrúar í landinu: þetta styrkir mikilvægi notendasamfélagsins/sérfræðinga sem ekki eru viðfangsefni þarf að skilja rannsóknirnar og hvernig hægt er að beita henni í framkvæmd. Rannsóknum í flóknum, tekjulágum eða viðkvæmum aðstæðum getur fylgt siðfræðiverkfærakista eða ramma, hannaður til að upplýsa og styðja siðferðileg val á lífsferli rannsóknarinnar, frá upphafi til miðlunar og áhrifa, td. Reid et al., 2019 [70]. „Breytingakenningar“ eru mikið notaðar í alþjóðlegum þróunarrannsóknum gjafa, frjálsra félagasamtaka og fjölþjóðlegra stofnana, þar sem umsækjendur verða að setja fram leiðir til áhrifa, studdar af eftirliti, mati og námsramma, td. Valters, 2014 [71]. Fræðasamfélagið getur hugsanlega lært af þróunarsamfélaginu.

Viðurkenna hlutverk fjármögnunaraðila í mótun stefnu háskólaháskólanna Ábyrgt rannsóknarmat Global Research Council (GRC). (RRA) frumkvæði [72] hefur verið að hvetja helstu rannsóknarfjármögnunaraðila um allan heim til að vinna að RRA metnaði í eigin svæðisbundnu og landsbundnu samhengi og þróa árangursríka matsramma til að meta áhrif (skýringarmyndband) hér [73]). Að gangsetja vinnuskjal um RRA (Curry o.fl., 2020 [74]), kallaði GRC eftir meðlimum sínum að festa í sessi RRA meginreglur og grípa til áþreifanlegra aðgerða til að uppfylla þær og læra hver af öðrum með samvinnu og miðlun góðra starfsvenja. An alþjóðlegur vinnuhópur [75] veitir meðlimum GRC leiðbeiningar og stuðning og hjálpar þeim að fara frá hreyfingu til aðgerða.

Að miklu leyti með viðleitni GYA eru ECRs einnig farnir að virkja sig í kringum þessa dagskrá. Þess Vinnuhópur um vísindalegt ágæti [76] vinnur að því að bera kennsl á rannsóknarumhverfi sem stuðlar að því að „gefa forvitni og sköpunargáfu lausan tauminn í vísindum og stuðla að þróun mannlegs möguleika með fjölbreytileika og þátttöku“. Starf þeirra kallar á ECR samfélagið að ögra skilgreiningum á „árangri“ sem samtök þeirra nota, taka þátt í frumkvæði til að endurbæta rannsóknarmat og ganga til liðs við Young Academies hreyfinguna. Það kallar einnig á fjármögnunar- og ráðningarstofnanir til að taka þátt ECR í umræðum um mat á rannsóknum og viðurkenna breiðari fjölbreytni framlaga til og starfsferla í rannsóknum.

Þó að sumir háskólar og aðrir háskólar séu undirritaðir í DORA og/eða gangi í Evrópuhreyfinguna (lýst hér að neðan), virðast þeir ekki vera að skipuleggja sig sameiginlega í kringum rannsóknarmat á þann hátt sem önnur lykilkjördæmi eru.

Vandamál sem skapast með matskerfum sem eru nær eingöngu magnbundin eru að mestu leyti séð og greind frá sjónarhóli „Global North“, þar sem „Global South“ á hættu á að leika sér í sókn. Í hættu á of alhæfingu eru stór kerfisbundin vandamál á „Global North“ í kringum skort á fjölbreytni, jöfnuði og þátttöku sem aukast af matskerfum. Í „Global South“ vantar staðbundnar og svæðisbundnar skilgreiningar á því hvað eru „gæði“ og „áhrif“, mjög mismunandi matskerfi (jafnvel þvert á deildir við sama háskóla), og tiltölulega lítið um ögrun við óbreytt ástand. Um allan heim stafa vandamál af ofuráherslu á megindlega vísbendingar, tengslin milli mats og úthlutunar auðlinda, mjög samkeppnishæfs fjármögnunarkerfis og þrýstings á útgáfu, og lítilsvirðingar á öðrum, minna mælanlegum víddum rannsókna og fræðalífs.

Ritrýnt rit um samanburðarrannsóknir á umbótum á mati á rannsóknum eru dreifðar. Sjaldgæf undantekning er samanburður á inngripum við mat á rannsóknum í sex mismunandi landsvæðum (Ástralíu, Kanada, Þýskalandi, Hong Kong, Nýja Sjálandi og Bretlandi), þar sem kemur fram að verðtryggð frammistaða allra sex virðist batna eftir margar tegundir inngripa (a.m.k. með hefðbundnum bókfræðivísum) (ISI, 2022 [77]). DORA veitir (að mestu leyti stofnana) dæmisögur á vefsíðu sinni (Dóra [78]) og í skýrslu (DÓRA, 2021 [79]) hannað til að hvetja aðra til athafna, en þetta eru aðallega evrópsk dæmi.

Hér veita höfundar svæðisbundin yfirlit og innlend dæmi um tilraunir og umbætur til frekari innsýnar - þetta er ekki ætlað að vera tæmandi eða tæmandi.

The Samtök ESB um endurbætur á rannsóknamati [80], eða CoARA, samþykkt í júlí 2022, er stærsta frumkvæði um umbætur á mati á rannsóknum í heiminum. Fjögur ár í mótun og þróuð af 350 stofnunum í 40 (að mestu leyti evrópskum) löndum, European University Association og Science Europe (net vísindafjármögnunaraðila og akademíur álfunnar), í samvinnu við framkvæmdastjórn Evrópusambandsins, hafa þróað samning eða sett meginreglna (a 'umbótaferð'), fyrir meira innifalið og ábyrgra rannsóknarmat (CoARA, 2022 [81]). Samningurinn beinist að þremur matsstigum: stofnunum, einstökum rannsakendum og rannsókninni sjálfri. Þó að bandalagið sé stjórnað af evrópskum samstarfsaðilum hefur bandalagið metnað til að verða alþjóðlegt og bæði DORA og GYA hafa þegar skrifað undir. Undirritaðir skuldbinda sig til að leggja til fjármagn til að bæta mat á rannsóknum, þróa ný viðmið og tæki til mats, og vekja athygli á og veita þjálfun um mat á rannsóknum (td ritrýnendum). Þessari þróun hefur verið lýst sem „vonandi merki um raunverulegar breytingar“ (Náttúra, 2022 [82]).

ESB fjármagnar einnig nokkur spennandi ný frumkvæði sem eru hönnuð til að styðja við umbætur á rannsóknarmati: einkum opin og alhliða vísindi (OPUS [83]) – að þróa „alhliða pakka“ af vísbendingum yfir margvíslega rannsóknarferla og úttak, og þar með hvetja evrópska vísindamenn til að stunda opin vísindi – og opið vísindamatsgagnasvæði GraspOS [84] – að byggja upp opið gagnarými til að styðja við stefnubreytingar fyrir mat á rannsóknum.

Evrópska rannsóknarráðið (ERC), sem styður landamærarannsóknir á öllum sviðum (með fjárhagsáætlun upp á 16 milljarða evra fyrir 2021–2027) hefur undirritað CoARA og hefur breytt matsformum sínum og ferlum til að byggja inn fleiri frásagnarlýsingar, þar á meðal að gera grein fyrir minna hefðbundnar starfsbrautir og „óvenjulegt framlag“ til rannsóknarsamfélagsins. Tillögur verða metnar meira út frá verðleikum þeirra en fyrri árangri umsækjanda og verða áfram metnar af jafningjanefndum sem samanstendur af leiðandi fræðimönnum sem nota eina viðmiðunina um vísindalegt ágæti (ERC, 2022 [85]).

Sumar evrópskar akademíur eru einnig þátttakendur. Stjórn ALLEA [86] Evrópska samband vísinda- og hugvísindaakademía, sem er fulltrúi níu af rúmlega 50 þjóðlegum akademíum í 40 Evrópulöndum, hefur stutt CoARA-hreyfinguna. ALLEA hefur skuldbundið sig til að koma á fót sérstökum starfshópi til að safna, skiptast á og efla góða starfshætti við inntöku nýrra akademía. Fellows og að stuðla að „þýðingarmiklum menningarlegum skiptum“ á rannsóknarmati, byggt á meginreglum um gæði, heiðarleika, fjölbreytileika og opinskáleika. Í því 2022. október yfirlýsing , ALLEA skorar á aðildarakademíur að gera eftirfarandi:

1. Viðurkenna fjölbreytileika framlaga til og starfsferla í rannsóknum í samræmi við þarfir og eðli rannsóknarinnar; þegar um er að ræða félaga í akademíunni ættu valferli (1) að taka tillit til kynjajafnvægis og einstakra áskorana vísindamanna á fyrstu stigum starfsferils, (2) styðja við fjölbreytileika menningar og greina, (3) meta margvísleg hæfnisvið og hæfileika, og (4) stuðla að þverfaglegu og fjöltyngi.

2. Byggja rannsóknarmat fyrst og fremst á eigindlegu mati þar sem ritrýni er miðlæg, studd ábyrgri notkun megindlegra vísbendinga; Mat á ágæti og áhrifum varðandi störf umsækjenda skal byggja á eigindlegri ritrýni sem uppfyllir grundvallarreglur um nákvæmni og gagnsæi og tekur mið af sérstöðu vísindagreinarinnar.

3. Hætta við óviðeigandi notkun á mælingum sem byggjast á tímaritum og útgáfum við rannsóknarmat; sérstaklega þýðir þetta að hverfa frá því að nota mælikvarða eins og Journal Impact Factor (JIF), Article Influence Score (AIS) og h-vísitölu sem ríkjandi umboð fyrir gæði og áhrif.

Allea yfirlýsing um endurbætur á rannsóknarmati innan evrópsku akademíanna

Í þeirra sameiginlegt svar [87] við ESB samninginn og CoARA Coalition, ECR samfélagið í GYA hefur einnig fagnað þessari skuldbindingu og boðið upp á leiðir til að innleiða meginreglur hennar. Þetta felur í sér starfshætti sem eru án aðgreiningar og endurspegla fjölbreytileika landsbundinna sérkenna og sérkenna greina, þar sem rannsakendur á öllum stigum ferilsins fá þjálfun, hvatningu og umbun, þar sem lögboðin þjálfun um opin vísindi fyrir rannsakendur, starfsfólk og nefndarmenn er mikilvæg.

Rannsóknafrekir háskólar í Evrópu hafa einnig staðið á bak við umbætur á rannsóknarmati sem leið fyrir „fjölvíddar“ rannsóknarferla (Overlaet, B., 2022 [88]). Þeir hafa þróað sameiginlegan ramma til að hvetja og styðja háskóla til að viðurkenna fjölbreytt framlag í rannsóknum, menntun og þjónustu við samfélagið.

Á landsvísu eru nokkur lönd nú að prufa mismunandi matslíkön: til dæmis innlendar fjármögnunarstofnanir í Belgium, Holland, Sviss og UK eru allir að nota „frásagnarferilskrár“. Frásagnarferilskrár líta heildrænt á námsárangur: framlag til þekkingarsköpunar, til þróunar einstaklinga, til víðara rannsóknarsamfélags og til breiðara samfélags (Royal Society [89]). Þó að það sé vaxandi stuðningur við þessa tegund af ferilskrám, þá eru líka nokkrar áhyggjur af því að þær þvingi fræðimenn til að vera góðir í öllu og eiga því á hættu að skerða djúpa sérfræðiþekkingu í leit að alhliða stöðu (Grove, J., 2021 [90]).

Fjögur dæmi um innlend rannsóknarkerfi sem eru að samræma umbætur á landsvísu í starfsmiðuðu fræðilegu mati eru í eftirfarandi textareitum.

Landsdæmi: Bretland

UK Research Evaluation Framework (REF) mælir áhrif rannsókna í gegnum tvær víddir: „mikilvægi“ (áþreifanlegi munurinn sem verkefni gerir) og „nákvæmi“ (mælanlegt marki sem það gerir það) (UKRI). Áhrif hér eru skilgreind sem „áhrif á, breyting eða ávinning fyrir efnahag, samfélag, menningu, opinbera stefnu eða þjónustu, heilsu, umhverfi eða lífsgæði, handan háskólans“ en umfram þetta er það mjög opið, aga- breytilegt og að öllum líkindum óljóst, þar sem ekki er gert fullnægjandi grein fyrir opinberri þátttöku, til dæmis.

Verið er að meta REF Bretlands á árunum 2022–2023 samkvæmt Framtíðarrannsóknarmatsáætlun að kanna mögulegar nýjar aðferðir við mat á frammistöðu rannsókna á háskólastigi í Bretlandi, og felur í sér skilning á alþjóðlegri rannsóknarmatsvenju. Næsta endurtekning á REF mun hugsanlega gera grein fyrir fjölbreyttara setti framleiðsla og jafnvel draga úr mikilvægi þeirra. Núverandi líkan leggur 60% áherslu á framleiðsla, 25% til rannsóknaáhrifa og 15% til rannsóknarmenningar/umhverfis. Ef þetta væri jafnari vegið, þá myndi REF líta mjög öðruvísi út, með meiri áherslu á rannsóknarmenningu, rannsóknarheilleika og teymisvinnu (Grove, 2020).

Landsdæmi: Finnland

Árið 2020 samræmdi Samtök lærðra félaga í Finnlandi starfshóp rannsóknarfjármögnunaraðila, háskóla og stéttarfélaga sem birtu yfirlýsinguna Góðar starfsvenjur í rannsóknarmati. Þar eru settar fram leiðbeiningar um að fylgja ábyrgu ferli við mat á einstökum fræðimönnum, þar á meðal fimm almennar meginreglur um mat: gagnsæi, heiðarleika, sanngirni, hæfni og fjölbreytileika. Góð starfsvenjur í rannsóknarmati kallar á að heilindi rannsókna, menntun og leiðsögn og vísindaþjónusta (td jafningjarýni) fái betri viðurkenningu við mat á námsframlagi einstaklinga. Í yfirlýsingunni er litið svo á að mat snúist ekki eingöngu um að leggja fram samanlagða dóma: hún hvetur einnig matsaðila til að deila endurgjöf með einstaklingum sem eru metnir til að auðvelda endurgjöf og nám.

Stofnanir sem framkvæma rannsóknir og stofnanir sem fjármagna rannsóknir hafa öll skuldbundið sig til að innleiða góða starfshætti í rannsóknarmati og búa til eigin staðbundin afbrigði af leiðbeiningunum og verið er að þróa ferilskrárlíkan rannsakenda á landsvísu. Góðar starfsvenjur í rannsóknarmati skuldbinda sig til reglulegrar endurskoðunar og betrumbóta.

Landsdæmi: Holland

Í Hollandi hófst landsvísu viðurkenningar- og verðlaunaáætlunin árið 2019, með birtingu afstöðuyfirlýsingarinnar Herbergi fyrir hæfileika allra. Þetta landsvísu samstarf milli Konunglega hollensku lista- og vísindaakademíunnar (KNAW – IAP og ISC meðlimur), rannsóknarfjármögnunaraðila, háskóla og læknamiðstöðva segir að nútímavæðing á matsmenningu rannsókna þurfi að eiga sér stað. Þar með er sett fram fimm markmið um breytingar á matsaðferðum: meiri fjölbreytni í starfsferlum, viðurkenning á frammistöðu einstaklings og teymi, forgangsraða gæðum vinnu fram yfir megindlega vísbendingar, opin vísindi og akademísk forysta.

Síðan 2019 hafa hollenskir ​​háskólar farið í að lögleiða eigin staðbundna þýðingar á landsvísu. Á sama tíma hafa fjármögnunarstofnanir sett af stað fleiri „frásagnarferilskrár“ snið og hætt að biðja um heimildafræðilegar upplýsingar, með vísan til San Francisco DORA sem innblástur. Hollenska rannsóknaráðið hefur mjög nýlega flutt til ferilskrá sem byggir á sönnunargögnum þar sem hægt er að nota nokkrar magnupplýsingar. KNAW þróaði líka sitt eigið þriggja ára áætlun að innleiða dagskrá viðurkenningar og verðlauna innbyrðis. Dagskrárstjóri og teymi í fullu starfi hafa verið skipaðir til að auðvelda umbótaáætlunina um viðurkenningu og verðlaun og árlega er haldin „viðurkenningar- og verðlaunahátíð“ meðal helstu hagsmunaaðila um umbætur til að styðja við nám í samfélaginu.

Að lokum, styrkt af DORA samfélagsþátttökustyrk, sem Young Scientist in Transition frumkvæði fyrir doktorsnema, með aðsetur í Utrecht, hefur þróað nýjan matshandbók fyrir doktorsgráður, í viðleitni til að breyta rannsóknamenningu.

Þjóðlegt dæmi: Noregur

Árið 2021 birtu Noregur, Háskólar í Noregi og Norska rannsóknarráðið NOR-CAM – Verkfærakista fyrir viðurkenningar og umbun í námsmati. NOR-CAM veitir fylkisramma til að bæta gagnsæi og víkka mat á rannsóknum og rannsakendum frá þröngum bókfræðiupplýstum vísbendingum. NOR-CAM stendur fyrir Norwegian Career Assessment Matrix og var aðlagað frá 2017 tilkynna af framkvæmdastjórn Evrópusambandsins sem kynnti Open Science Career Assessment Matrix. Eins og forveri sinn í Evrópu, leggur NOR-CAM einnig fram leiðir til að samþætta opnar vísindaaðferðir betur inn í námsmat. Fylkið miðar að því að leiðbeina matsmönnum og umsækjendum um akademískar stöður, umsóknir um rannsóknarstyrki og innlenda matsaðila sem leggja mat á norskar rannsóknir og menntun. Henni er einnig ætlað að vera almenn leiðbeining um starfsþróun einstaklings.

Í fylkinu eru sex megin hæfnisvið: rannsóknarniðurstöður, rannsóknarferli, kennslufræðileg hæfni, áhrif og nýsköpun, forystu og önnur hæfni. Fylkið gefur síðan tillögur til að gera starfsáætlanagerð og viðurkenningu á starfsmati í kringum hvert viðmið – dæmi um niðurstöður og færni, gögn um skjöl og hvetja til umhugsunar um hverja viðmiðun. Ekki er gert ráð fyrir að umsækjendur standi sig jafnt á öllum forsendum.

NOR-CAM var stofnað af vinnuhópi hagsmunaaðila í rannsóknaframkvæmdum og fjármögnun samtakanna, samræmdum af háskólum í Noregi, sem þýðir í grundvallaratriðum að það hefur innkaup frá meðlimum allra norskra háskóla. Í kjölfarið hafa verið haldnar vinnustofur með þátttöku norskra háskóla til að þróa leiðir til að samþætta NOR-CAM inn í ráðningar- og stöðumatsferli, og verið er að þróa „sjálfvirkt“ ferilskrárkerfi til að sækja gögn frá mörgum innlendum og alþjóðlegum aðilum til að draga úr stjórnsýslu. byrði. Samræmingaraðilar frá ofangreindum þremur umbótakerfum á landsvísu hafa hist reglulega til að skiptast á reynslu sinni og deila námi.

Rómönsk Ameríka og Karíbahafið (LAC) eru á margan hátt ólík öðrum heimshlutum. Hér eru vísindi álitin almannagæði á heimsvísu og rannsóknir og fræðileg útgáfukerfi þeirra og innviðir eru í opinberri eigu (fjármögnuð) og ekki viðskiptaleg: en þessir svæðisbundnu styrkleikar og hefðir endurspeglast ekki enn í matskerfum. Lykilhagsmunaaðilar sem geta haft áhrif á breytingar eru innlend rannsóknarráð, vísindaráðuneyti og helstu rannsóknarháskólar – hlutverk háskólanna er mikilvægt í ljósi þess að meira en 60% vísindamanna eru staðsettir í háskólum (RiCyT, 2020 [91]). Möguleiki er á að samræma matskerfi betur við SDGs og við opnar vísinda- og borgaravísindahreyfingar, sem hafa blómlega hefð á svæðinu.

Eins og er, er mikil sundrungin í rannsóknarmatskerfum á landsvísu, staðbundnum og stofnanalegan hátt, sem setur rannsóknir í samkeppni við önnur verkefni, svo sem kennslu, framlengingu og samframleiðslu. Rannsóknarmat og verðlaunakerfi fyrir rannsakendur í LAC styðja almennt hugmynd um ágæti sem er fest í aðferðafræði „Global North“, sem byggist eingöngu á áhrifaþáttum tímarita og háskólastiga (CLACSO, 2020 [92]). Viðurkenning á mismunandi gerðum þekkingarframleiðslu og miðlunar og fjölbreytileika akademískra starfsferla (td kennslu, þjálfun og leiðsögn, borgarafræði og opinber miðlun vísinda) er að mestu fjarverandi í aðferðum við mat á rannsóknum. Þetta er sérstaklega erfitt fyrir vísindamenn í félagsvísindum og hugvísindum, þar sem einrit og staðbundin tungumál eru mikið notuð (CLACSO, 2021 [93]). Svæðisbundin tímarit og vísbendingar eru gengisfelld eða ekki viðurkennd í slíkum matsferlum. Allt þetta er aukið af veikum upplýsingakerfum og veikum samvirkni innviða (sérstaklega í eigu samfélagsins), sem er vanfjármagnað vegna þess að af skornum skammti er beint til APC greiðslur fyrir opinn aðgangstímarit.

Engu að síður eru sumir háskólar á svæðinu að byrja að innleiða matsaðferðir sem beita blöndu af eigindlegri og megindlegri aðferðafræði, sérstaklega við mat á rannsakendum og verkefnismiðuðum rannsóknum (Gras, 2022 [94]). Umskipti yfir í víðtækari rannsóknarmatskerfi mun krefjast samhönnunar eigindlegra viðmiða; ábyrga notkun megindlegra gagna og styrkja jafningjarýniferli; stigvaxandi breytingar sem samræma og samræma stefnur og aðferðafræði í átt að sameiginlegum meginreglum um ábyrgt rannsóknarmat og opin vísindi; nýja aðferðafræði og gögn til að meta betur þverfagleg vísindi, umhverfismál og staðbundin málefni; sameiginlegir, rekstrarsamhæfir, sjálfbærir, sameinaðir innviðir sem styðja við fjölbreytileika bókmennta og fjöltyngi; og þátttakenda, botn-upp hönnun sem víkkar þátttöku borgara og félagslegra hreyfinga og innlimun vanfulltrúa rannsóknarhópa.

Til að takast á við þessar áskoranir hefur svæðið tekið upp sett af meginreglum og leiðbeiningum um mat á rannsóknum. The CLACSO-FOLEC Yfirlýsing um meginreglur fyrir rannsóknarmat [95], samþykkt í júní 2022, hefur það að markmiði að tryggja og vernda vönduð og samfélagslega viðeigandi vísindi, og aðhyllast meginreglur DORA og opinna vísinda, fjölbreytileika rannsóknarframleiðsla og rannsóknarferla, gildi svæðisbundinna tímarita og flokkunarþjónustu, og þverfaglegs eðlis, staðbundins tungumáls og þekkingar frumbyggja. Hingað til hefur það yfir 220 fylgjendur og þegar er jákvæð þróun í ábyrgu rannsóknarmati og dæmi um umbætur. Nokkur innlend dæmi eru í eftirfarandi textareitum.

Landsdæmi: Kólumbía

Styrkt af DORA Community Engagement Award, hafa Kólumbíusamtök háskóla, háskólaútgefendur, rannsóknarstjórar og net vísinda- og tæknistjórnunar, meðal annarra, unnið saman að tækifærum og áskorunum sem felast í ábyrgum mæligildum í Kólumbíu. Í gegnum röð vinnustofna og samráðs, þar á meðal með alþjóðlegum stofnunum sem viðmið, hafa þeir þróað matseðil til að hjálpa kólumbískum stofnunum að hanna eigin REF. Í þessari grein er leitast við að gera grein fyrir áskorunum sem greindar hafa verið á staðbundnum vettvangi, sem – fyrir háskóla – fela í sér skort á þekkingu á valkostum við mat á rannsóknum, eðli innlends rannsóknarmats vistkerfis og viðnám gegn breytingum. A hollur website hefur verið þróað ásamt infografík til að aðstoða vísindamenn og miðlun og námi er áfram miðlað um landið.

Nánari upplýsingar: Kólumbíska ábyrgar mælingarverkefnið: í átt að kólumbískum stofnunum, aðferðafræðilegu tæki til rannsóknarmats | DORA (sfdora.org)

Landsdæmi: Argentína

Áhugaverð tilraun til umbóta í Vísinda- og tæknirannsóknaráð (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) hefur verið gerð sérstakrar ályktunar fyrir félags- og mannvísindi sem setur tímarit sem eru skráð í almennum hringrás á sama stigi og tímarit skráð í svæðisbundnum stöðvum eins og SciELO, redalyc or Latindex-Catalogo. Reglugerðin er nú í endurskoðun, til að skýra nokkurn óljósleika í framkvæmd hennar og rýmka viðmið hennar. Aftur á móti, árið 2022, fylgdi stjórn CONICET San Francisco DORA og viðurkenndi opinberlega skuldbindingu sína til að bæta rannsóknir með því að efla mat og stöðugar umbætur á ferlum sínum.

The Landsstofnun um eflingu rannsókna, tækniþróunar og nýsköpunar (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), undir Vísinda-, tækni- og nýsköpunarráðuneytið, er helsti styrktaraðili rannsókna á landinu vegna fjölbreytileika og umfangs útkalla sem eru mjög samkeppnishæfir. Sem stendur er AGENCIA að innleiða a program að efla rannsóknarmatsferli í helstu fjármálasjóðum sínum. Núverandi umbætur fela í sér þóknun ritrýnenda til að örva skuldbindingu þeirra með þessum ferlum, hvatning til opins aðgangs þar sem afrakstur verkefna ætti að vera ætlaður almenningi með útgáfum eða skjölum í opinni dreifingu (í samræmi við skyldur „Stafrænar stofnanageymslur með opnum aðgangiLandslög 26.899) og innlimun jöfnuðar og víddar án aðgreiningar í gegnum kyn, vanfulltrúa kynslóðahópa og/eða styrkjandi jöfnunarkerfi í rannsóknamatsferli. Engu að síður, í ýmsum aganefndum, er námskrárgrunnur leiðandi vísindamanna sem bera ábyrgð á tillögunum enn metinn af jafnöldrum þeirra með því að nota tilvitnunaráhrifavísa.

Að lokum, styrkt af DORA Community Engagement Grant, hýsti sálfræðideild Universidad Nacional de la Plata sýndarviðburður í september 2022 um námsmat í sálfræði og félagsvísindum sem laðaði að sér yfir 640 (aðallega grunnnema) frá 12 löndum, sem sýnir áhuga ungs fólks í álfunni. Viðburðurinn hefur hjálpað til við að móta fjögurra ára stjórnunaráætlun deildarinnar og mun kynna bók um umbætur á fræðilegu mati í spænskumælandi samhengi.

Landsdæmi: Brasilía

Mikil umræða er um rannsóknarmat í Brasilíu meðal rannsóknastofnana og vísindamanna, ef ekki ríkis- og alríkisstjórna. Hins vegar, þrátt fyrir mesta fjölda stofnana sem skrifa undir DORA í heiminum, eru dæmi um umbætur á mati á rannsóknum furðu fá. Eftir könnun meðal undirritaðra DORA innanlands, samráðs stofnana og opinbers viðburðar, styrkt af DORA Community Engagement Grant, a leiðbeina hefur verið undirbúið fyrir háskólaleiðtoga til að kanna ábyrga matsaðferðir.

Í leiðaranum er lögð áhersla á þrjár meginaðgerðir: (1) að auka vitund um ábyrgt mat í allri sinni mynd; (2) þjálfun og getuuppbygging matsmanna og þeirra sem verið er að meta; og (3) framkvæmd og úttekt. Næstu skref eru að byggja upp net iðkenda – eða tíu leyniþjónustuskrifstofur háskóla – til að koma á breytingum á matsaðferðum og tilraunasamhengisnæmum líkönum og að lokum þróa vegvísi fyrir brasilískar stofnanir sem vilja koma á breytingum.

Projeto Métricas (2022). Stofnanaáskoranir og sjónarmið fyrir ábyrgt mat í brasilísku háskólanámi: Projeto Métricas DORA samstarfssamantekt á niðurstöðum. Háskólinn í São Paulo, Brasilíu.

Það er áframhaldandi breyting í burtu frá eingöngu megindlegum vísbendingum í Norður-Ameríku, flýtt fyrir opinni vísindaáætlun. Opin vísindi og opin endurskoðun hjálpa til við að gera matsaðferðir gagnsærri, gefa tækifæri til að ígrunda sjálfan sig og koma upp vandamálum, td sjálfsvitnanir og vinkonur á ráðningar-, kynningar- og jafningjarýni, auk meðfæddra kynja og annarra hlutdrægni. Deilur eru í gangi um nauðsyn þess að þróa snjallari, greindar vísbendingar og blandaðar aðferðir við mat, með möguleika á blendingi, samræmdu matslíkani sem þjónar grunnvísindum (efla þekkingu) og hagnýtum vísindum (samfélagsáhrif).

Það er líka viðurkenning á því að háskólar þurfa akademískt rými og frelsi til að venja sig af þeim verkfærum sem þeir nota nú til mats, án nokkurs „frumleikara ókosta“, og að notendasamfélagið ætti að vera hluti af matsferlinu til að hjálpa til við að mæla notagildi þekkingu, upptöku hennar og áhrif. En það er líka tilfallandi mótspyrna gegn breytingum („viljandi blinda“) frá toppi og neðst í rannsóknavistkerfinu – frá þeim sem njóta góðs af óbreyttu ástandi og þeim sem hafa nýlega farið inn í það. Mjög fáir bandarískir háskólar hafa skrifað undir DORA og nýtt DORA verkefni leitast við að skilja hvers vegna þetta er raunin (TARA). Engu að síður, bæði í Kanada og Bandaríkjunum, eru nokkur áhugaverð dæmi um frumkvæði innanlands og stofnana sem ætlað er að koma á kerfisbreytingum (sjá eftirfarandi textareitir).

Landsdæmi: Bandaríkin

Í Bandaríkjunum er National Science Foundation leiðandi rödd breytinga í gegnum sína Efling rannsóknaáhrifa í samfélaginu dagskrá og tilheyrandi víðtækari verkfærasett fyrir áhrif fyrir rannsakendur og matsmenn. Jafnrétti, fjölbreytni og nám án aðgreiningar, þar á meðal að taka þátt í samfélögum frumbyggja og hefðbundinna jaðarsettra samfélaga, eru lykildrifkraftar. Bandaríska vísindaakademían, sem er IAP og ISC meðlimur, er einnig að leitast við að örva víðtækar umbætur, bjóða upp á vettvang fyrir upplýsingaskipti og læra um endurbætur á hefðbundnu ferilskrá rannsakenda (NAS stefnumótunarráð, 2022). Upprunninn af starfi bandarísku akademíanna, sem Leiðtogaframtak háskólastigs fyrir opið námsstyrk er hópur af meira en 60 framhaldsskólum og háskólum skuldbundið sig til sameiginlegra aðgerða til að efla opinn námsstyrk, þar á meðal endurhugsað rannsóknarmat til að umbuna hreinskilni og gagnsæi.

Heilbrigðisstofnunin hannaði til dæmis nýtt lífskírteini (SciENcv) fyrir starfsfólk í styrkumsóknum til að lágmarka kerfislæga hlutdrægni og tilkynningabyrði, og á sama tíma vera áhrifadrifið.

Landsdæmi: Kanada

Í Kanada eru mörg samtöl um endurbætur á rannsóknarmati, knúin áfram af DORA; öll þrjú alríkisrannsóknaráðin eru undirrituð. Raunvísinda- og verkfræðiráð hefur endurskilgreind viðmið um gæði rannsókna, sleppir bókfræði, tilvitnunum og h-vísitölunni, í samræmi við meginreglur DORA: Gæðamælingar innihalda nú góð rannsóknargögn og stjórnun gagnaaðgangs, jöfnuð, fjölbreytileika og þátttöku og þjálfunarábyrgð. Hin rannsóknaráðin tvö munu líklega fylgja í kjölfarið.

Kanadískir vísindamenn hafa tilhneigingu til að einbeita sér að „þekkingarvirkjun“, viljandi viðleitni til að auka samfélagsleg áhrif rannsókna, með samframleiðslu með notendasamfélögum (ISI, 2022). Rannsóknaráhrif Kanada er net yfir 20 háskóla sem miðar að því að byggja upp stofnanagetu með áhrifalæsi, eða getu til að „greina viðeigandi áhrifamarkmið og vísbendingar, meta á gagnrýninn hátt og hagræða áhrifaleiðum og velta fyrir sér færni sem þarf til að sérsníða nálgun þvert á samhengi“ til að hámarka áhrif rannsókna í þágu almannaheilla.

Þess má geta að mjög fáir kanadískir háskólar hafa skrifað undir DORA. Helsti hvatinn að öllum breytingum er líklega að faðma frumbyggjafræði: þetta er orðið siðferðisleg skilyrði í Kanada.

Rannsóknarhvata- og umbunarkerfi í Afríku hafa tilhneigingu til að endurspegla „alþjóðleg“, fyrst og fremst vestræn, viðmið og venjur. Afrískar stofnanir leitast við að fylgja þeim þegar þeir þróa nálgun sína á „gæði“ og „afburða“ í rannsóknum en þær eru ekki alltaf viðeigandi fyrir staðbundna þekkingu og þarfir. „Gæði“, „árangur“ og „áhrif“ rannsókna eru ekki vel skilgreind í álfunni og sumir vísindamenn eru ekki vanir menningu „rannsóknaáhrifa“.

Matskerfi í Afríku hafa tilhneigingu til að gera ekki grein fyrir rannsóknum í þágu samfélagsávinnings, kennslu, getuuppbyggingu, rannsóknastjórnun og stjórnun. Útgáfulíkön eru ekki samhengisnæm, þar sem APCs skapa hindranir fyrir afríska rannsóknaframleiðslu. Umbætur á matskerfum rannsókna gætu hjálpað til við að leiðrétta ósamhverfu í framlagi afrískra rannsókna til samfélagslegra áskorana, auk þess að bæta aðgengi að auðlindum til að hjálpa afrísku rannsóknarsamfélaginu að gera þetta. Það er mikilvægt að brjóta niður hindranir fyrir þverfaglega og þverfaglega samvinnu til að gera fjölbreytileika skoðana og þekkingarkerfa kleift að dafna og hjálpa til við að túlka hvað eru rannsóknargæði fyrir Afríku. Í öllum umbótum þarf að huga að aðferðum sem samþætta staðbundnar, frumbyggja og „hefðbundnar“ heimsmyndir um mat á gæðum rannsókna og ágæti.

Verið er að byggja upp öflugt samstarf um RRA í álfunni. Styrkt af alþjóðlegum hópi þróunarstofnana, the Vísindastyrkjaráð frumkvæði (SGCI) [96], þar sem 17 Afríkulönd tóku þátt, framkvæmdu rannsókn á ágæti rannsókna í Afríku þar sem horft var á styrktarstofnanir vísinda og mat rannsakenda frá sjónarhóli hnattræns suðurs (Tijssen og Kraemer-Mbula, 2017 [97], [98]). Það kannaði spurninguna um ágæti rannsókna í Afríku sunnan Sahara og þörfina fyrir nálgun sem víkkar út hugmyndina um ágæti umfram útgáfur (Tijssen og Kraemer-Mbula, 2018 [99]); að útbúa leiðbeiningarskjal, sem nú er verið að uppfæra, um góða starfshætti við framkvæmd rannsóknarsamkeppni (SGCI [100]). Á World Science Forum árið 2022, undir merkjum SGCI og GRC, Suður-Afríku National Research Foundation (NRF) og vísinda- og nýsköpunardeild boðuðu alþjóðlega og staðbundna samstarfsaðila til að ræða hlutverk fjármögnunarstofnana við að efla RRA og til að deila reynslu, efla góða starfshætti og meta framfarir í uppbyggingu getu og samvinnu (NRF, 2022 [101]).

The Afrískt sönnunarnet [102] hefur sam-afrískt, þverfaglegt net yfir 3,000 sérfræðinga unnið nokkra vinnu við mat á þverfaglegum rannsóknum (Afrískt sönnunarnet [103]) en að hve miklu leyti þetta hefur verið innbyggt í lands- og svæðismatskerfi er ekki enn ljóst. The Afríkurannsókna- og áhrifakerfi [103] hefur unnið að skorkorti sem samanstendur af safn vísbendinga til að meta gæði mats á vísindum, tækni og nýsköpun (STI) í Afríku, sem það vonast til að þróa yfir í vefbundið ákvarðanatökutæki til að leiðbeina STI fjárfestingarákvörðunum .

Á landsvísu hafa stigvaxandi breytingar hafist – nokkur dæmi eru gefin í eftirfarandi textareitum. Önnur lönd þar sem rannsóknarsjóðir eru í forystu eru Tansanía (COSTECH), Mósambík (FNI) og Búrkína Fasó (FONRID). RRA frumkvæði GRC hefur reynst mikilvægur vettvangur til breytinga í álfunni, sem og að læra af alþjóðlega þróunargeiranum, einkum IDRC Rannsóknargæði plús (RQ+) matsrammi [104], með þeim greinarmun að því hefur þegar verið beitt, rannsakað og endurbætt. Afríku byggt International Evaluation Academy [105] gæti einnig veitt áhugavert tækifæri.

Landsdæmi: Fílabeinsströndin

Í hjarta Côte d'Ivoire Dagskrá Appui Stratégique à la Recherche Scientifique (PASRES) (Strategic Support Program for Scientific Research) er sú trú að ágæti í rannsóknum verði að fara yfir fjölda rannsóknarrita og fela í sér „rannsóknarupptöku“ víddina. Aðlögun að innlendu samhengi byggist rannsóknarmatsferlið á viðmiðum sem tengjast vísindalegri og félagslegri þýðingu, þátttöku samstarfsaðila, þjálfun nemenda, virkja þekkingu og hagkvæmni. Í matsnefndum eru vísindamenn (til að dæma um gæði rannsókna sem gerðar eru), einkageirinn (til að dæma efnahagslega auðgun) og aðrar stofnanir (til að mæla menningarlega og félagslega möguleika rannsóknarinnar).

PASRES hefur stofnað tvö staðbundin tímarit (annað fyrir félagsvísindi og málvísindi og hitt fyrir umhverfi og líffræðilegan fjölbreytileika) og stendur undir öllum útgáfukostnaði í þeim. Að lokum fjármagnar PASRES starfsemi til að byggja upp getu og þemaráðstefnur til að gera vísindamönnum kleift að kynna rannsóknir sínar fyrir einkageiranum og borgaralegu samfélagi.

Nánari upplýsingar: Ouattara, A. og Sangaré, Y. 2020. Stuðningur við rannsóknir á Fílabeinsströndinni: ferli við val og mat á verkefnum. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (ritstj.), African Minds, bls. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Þjóðlegt dæmi: Suður-Afríka

Rannsóknarmat í Suður-Afríku (SA) beinist aðallega að bókfræði. Síðan 1986, þegar háskólamenntadeild (DHET) kynnti stefnu um að greiða háskólum styrki vegna rannsóknarrita sem gefin eru út í tímaritum um viðurkenndar vísitölur, jókst framleiðsla háskólarannsóknarita samhliða Rand-gildinu sem veitt var fyrir hverja útgáfu. Í viðleitni til að tryggja fjármögnun rannsókna og efla feril sinn birtu vísindamenn SA eins margar greinar eins fljótt og þeir gátu og skapaði rangar og ófyrirséðar afleiðingar.

Vísindaakademía Suður-Afríku (ASSAf) lét vinna skýrslu um fræðiútgáfu í landinu (2005–2014) og fann vísbendingar um vafasama ritstjórnarhætti og rándýra útgáfu (ASSAf, 2019). Með því að nota blæbrigðaríkt flokkunarkerfi var áætluð tala um 3.4% af heildargreinum undanfarin tíu ár dæmd rándýr, þar sem tölur hækkuðu meira frá 2011. Tímarit sem dæmd voru rándýr voru tekin með á DHET 'viðunandi fyrir fjármögnun' lista og fræðimenn í öllum SA háskólum reyndust taka þátt (Mouton og Valentine, 2017).

Í ASSAf skýrslunni voru settar fram ráðleggingar á kerfisbundnu, stofnana- og einstaklingsstigi og í kjölfarið mótvægisaðgerðir DHET, NRF og sumra háskóla virðast hafa komið í veg fyrir rándýra starfshætti í SA þar sem tíðni rándýrrar útgáfu frá SA fræðimönnum (í DHET viðurkenndum tímaritum) náði hámarki árið 2014– 2015 og lækkandi í kjölfarið. Það voru líka áhyggjur meðal vísindamanna af því að stefnumótun DHET í SA dregur úr samstarfi og mistókst að viðurkenna framlag einstaklinga innan stórra rannsóknarteyma, sem krefjast endurskoðunar á frammistöðumati/rannsóknarmatskerfum. Notkun útgáfueiningakerfisins er nú viðurkennd sem lélegt umboð fyrir mat á gæðum rannsókna og framleiðni og fyrir val og kynningu á fræðimönnum.

Nánari upplýsingar:

Vísindaakademía Suður-Afríku (ASSAf). 2019. Tólf ár: Önnur skýrsla ASSAf um rannsóknarútgáfu í og ​​frá Suður-Afríku. Pretoria, ASSAf.

Mouton, J. og Valentine, A. 2017. Umfang suður-afrískra höfunda greina í rándýrum tímaritum. South African Journal of Science, Vol. 113, nr. 7/8, bls. 1–9.

Mouton, J. o.fl. 2019. The Quality of South Africa's Research Publications. Stellenbosch.

2019_assaf_collaborative_research_report.pdf

Landsdæmi: Nígería

Háskólar í Nígeríu meta vísindamenn á þremur meginsviðum: kennslu, framleiðni rannsókna og samfélagsþjónustu. Þar af vegur framleiðni rannsókna þyngra, með áherslu á birtar ritrýndar rannsóknargreinar og að teknu tilliti til fjölda og hlutverka höfunda (fyrsta höfundar og/eða samsvarandi höfundar) í þessum ritum. Í viðleitni til að verða samkeppnishæfari á heimsvísu, leggja flestir háskólar meiri áherslu á tímarit sem eru skráð af International Scientific Indexing eða SCOPUS, til að leggja meiri áherslu á gæði og alþjóðlegt samstarf; og nota hlutfall greina í þessum tímaritum sem kynningarviðmið.

Óheppileg afleiðing þessa er sú að marga vísindamenn, sérstaklega þá í hugvísindum, skortir nægilegt fjármagn og/eða getu til að birta í þessum tímaritum. Þess í stað birta þeir fleiri ritdóma frekar en rannsóknargreinar, eða þeir telja sig knúna til að hafa áhrifamikla, háttsetta samstarfsmenn sem meðhöfunda, í krafti fjárhagslegs frekar en vitsmunalegs framlags. Ritstuldur eykst sem og rándýr útgáfa. Hins vegar hefur heildarröðun nígerískra háskóla á heimsvísu aukist og þar með fullnægt stjórnvöldum og fjármögnunarstofnunum og litið á það sem árangur. Nígería er ekki ein í þessu sambandi.

Nígeríska vísindaakademían hefur endurreist eigið ritrýnt tímarit sem flaggskipstímarit þar sem fræðimenn geta gefið út (sem stendur ókeypis) og fengið háa einkunn af stofnunum sínum.

Mjög samkeppnishæf, magndrifin matskerfi ráða ríkjum á svæðinu, ensk lönd móta venjulega matsramma og önnur lönd fylgja í kjölfarið. Í Ástralíu, til dæmis, er samkeppnishæft fjármögnunarkerfi byggt á bókfræði og háskólaröðun: „jafnvel er verið að breyta SDG í árangursvísa“. Svipaðar áskoranir eru uppi í Malasíu og Tælandi, og líklegt er að önnur ASEAN-ríki muni fylgja í kjölfarið. Mikilvæg undantekning er Kína þar sem stjórnvöld gegna mikilvægu hlutverki í að skapa miklar kerfisbreytingar og sem gætu haft djúpstæð áhrif á heimsvísu (sjá textareit).

Það er uppörvandi að það er vaxandi vitund og áhyggjur meðal rannsóknarsamfélagsins á svæðinu um takmörk núverandi rannsóknarmatskerfa og ógn þeirra við heilleika rannsókna. Þrátt fyrir að ECR, þar á meðal National Young Academies og ASEAN net ungra vísindamanna, ásamt grasrótarhreyfingum, séu í auknum mæli að taka þátt í þessu máli, eiga þeir í erfiðleikum með að láta í sér heyra. Stjórnvöld og fjármögnunarsamfélög, þar á meðal háskólaforysta, eru að mestu fjarverandi í umræðunni: þau leggja áherslu á megindlegar mælingar en gera sér ekki grein fyrir afleiðingum rannsókna. Reyndar segja ráðgjafaraðilar að fleiri megindlegum viðmiðum sé bætt við, að því marki sem stofnanir og vísindamenn eru að byrja að spila kerfið, ýta undir misferli í rannsóknum.

En það eru veruleg tækifæri til breytinga, eins og sýnt er í eftirfarandi textareitum.

Þjóðlegt dæmi: Kína

Nú er afkastamesta land í heimi (Tollefson, 2018; Statista, 2019), og annað hvað varðar rannsóknarfjárfestingu (OECD, 2020), það sem gerist í Kína getur haft áhrif á raunverulegar kerfisbreytingar. Ný stefna á ríkisstigi miðar að því að endurheimta „vísindaanda, nýsköpunargæði og þjónustuframlag“ rannsókna og „stuðla að því að háskólar snúi aftur til upprunalegra akademískra markmiða“ (FLEST, 2020). Vísindavefvísar munu ekki lengur vera ríkjandi þáttur í mati eða fjármögnunarákvörðunum, né heldur fjöldi rita og JIF. Hvatt verður til útgáfu í vönduðum kínverskum tímaritum og stutt við þróun þeirra. Leitað er að „fulltrúaútgáfum“ – 5–10 ritgerðum frekar en tæmandi lista – í matsnefndum, ásamt viðmiðum sem leggja mat á framlag rannsókna til að leysa mikilvægar vísindalegar spurningar, veita nýja vísindalega þekkingu eða kynna nýjungar og raunverulegar framfarir af, ákveðnu sviði.

Við að þróa gæða- og gæðamatskerfi fyrir rannsóknir sem er meira í takt við eigin þarfir, hefur stærsta fjármögnunarstofnun Kína fyrir grunnrannsóknir, National Natural Science Foundation of China (NSFC), framkvæmt kerfisbundnar umbætur síðan 2018 til að endurspegla breytingar í vísindum: breyting á alþjóðlegum vísindalandslag, mikilvægi þverfaglegs eðlis, sambland hagnýtra rannsókna og grunnrannsókna og samspil rannsókna og nýsköpunar (Manfred Horvat, 2018), að hverfa frá bókfræði yfir í kerfi sem styrkir staðbundið mikilvægi rannsókna í Kína (Zhang og Sivertsen, 2020). Það hefur endurbætt ritrýnikerfi sitt fyrir mat á tillögum til að passa betur við forvitnisdrifnar truflandi rannsóknir, brennandi vandamál á landamærum rannsókna, framúrskarandi vísindi beitt við efnahagslegar og félagslegar kröfur og þverfaglegar rannsóknir sem takast á við stórar áskoranir. Árið 2021 voru 85% tillagna lagðar fram og skoðaðar með þessum flokkum. Nýlega, í nóvember 2022, var tilkynnt um tveggja ára tilraunaáætlun um umbætur á hæfileikum í vísindum og tækni, þar sem átta ráðuneyti, tólf rannsóknastofnanir, níu háskólar og sex sveitarfélög tóku þátt. Markmið þess verður að kanna matsvísa og aðferðir fyrir vísinda- og tæknihæfileika sem starfa á mismunandi hlutum nýsköpunarkerfisins.

Undirsvæðisdæmi: Ástralía og Nýja Sjáland

Bæði Ástralía og Nýja Sjáland standa nú á mikilvægum tímamótum. Í Ástralíu eru áframhaldandi samhliða endurskoðun ástralska rannsóknarráðsins, ágæti í rannsóknum í Ástralíu og gull opinn aðgangur samningaviðræður uppsafnað tækifæri (Ross, 2022).

Í kjölfar almenningssamráðs um framtíð vísindafjármögnunar er Nýja Sjáland að þróa nýtt kerfisbundið forrit fyrir framtíð innlends rannsóknar- og nýsköpunarkerfis. Bæði Ástralía og Nýja Sjáland hafa stuðlað að þróun mælikerfis fyrir frumbyggja rannsóknarhópa sína (CARE meginreglur).

Þjóðlegt dæmi: Indland

Miðstöð Vísinda- og tæknideildar fyrir stefnurannsóknir (DST-CPR) hefur framkvæmt nýlegar rannsóknir á rannsóknarmati og umbótum á því á Indlandi, stýrt vinnustofum með helstu hagsmunaaðilum (landsstyrkjastofnanir, rannsóknarstofnanir og akademíur), viðtöl og kannanir. Það hefur komist að því að á meðan háskólar og margar stofnanir sem hafa þýðingu fyrir landsstefnu (eins og landbúnaður) einbeita sér nánast eingöngu að megindlegum mælikvörðum, hafa sumar fjármögnunarstofnanir og stofnanir eins og Indian Institute of Technology einnig verið að taka upp eigindlegri ráðstafanir. Þessi eigindlegri nálgun hjá efstu stofnunum er nú þegar til þess fallin að beina auknum fjármunum til rannsókna á forgangsröðun landsmanna, þó að of snemmt sé að segja til um hvort það hafi einhver mælanleg áhrif á gæði og áhrif rannsókna.

Aðalviðmið fyrir mat er jafningjamat byggt á áliti sérfræðinefndar, en aðeins eftir fyrstu skimun umsókna sem byggist alfarið á megindlegum mælikvarða. Grundvallaráskoranir eru einnig fyrir þessum nefndum: Skortur á fjölbreytileika og skilningi á opnum vísindum, lítið tillit til samfélagslegra áhrifa rannsókna og léleg getu og hlutdrægni. Þessi vandamál, og aðferðafræði við mat almennt, eru illa skilin og skortur er á leiðbeiningum og bókmenntum um efnið.

Engu að síður eykst meðvitund um nauðsyn þess að endurbæta rannsóknarmat. Fjármögnuð af DORA samfélagsþátttökustyrk, Indian National Young Academy of Sciences tók þátt í samstarfi við Indian Institute of Science (IISc) og DST-CPR til að kanna leiðir til að bæta rannsóknarmat - umræðum þeirra hefur verið deilt með helstu hagsmunaaðilum með með það fyrir augum að örva þjóðlegt samtal um nauðsyn þess að endurbæta og að lokum breyta rannsóknamenningu Indlands þannig að rannsóknir þess séu nýstárlegri og/eða samfélagslega viðeigandi. DST-CPR gerir ráð fyrir að þróa ramma fyrir framúrskarandi rannsóknir sem gæti verið samþættur inn í National Institutional Ranking Framework.

Nánari upplýsingar:

Battacharjee, S. 2022. Gerir leiðin sem Indland metur rannsóknir sínar vinnu sína? - Víravísindin

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. og Koley, M. 2022. Rannsóknarmat á Indlandi: Hvað ætti að vera, hvað gæti verið betra? DST-CPR, IISc.

Þjóðlegt dæmi: Japan

Samskiptareglur um mat á rannsóknum eru mjög útfærðar í Japan: á meðan það eru „Landsbundnar leiðbeiningar um mat á rannsóknum og þróun“, gefnar út af Vísinda-, tækni- og nýsköpunarráði ríkisstjórnarskrifstofunnar, mennta-, menningar-, íþrótta-, vísinda- og tækniráðuneytinu (MEXT) og fleira. ráðuneyti hafa einnig þróað sínar eigin leiðbeiningar. Ofan á þetta eru háskólar og rannsóknastofnanir með eigin rannsóknarmatskerfi fyrir rannsóknir og rannsakendur, sem hafa – eins og víða um heim – tengst afkomu stofnana og fjárveitingu.

Vaxandi áhyggjur hafa verið af því að treysta of mikið á megindlegt mat. Til að bregðast við, hefur vísindaráð Japans undirbúið sig tilmæli um framtíð rannsóknarmats í Japan (2022) þar sem kallað er eftir minni áherslu á megindlegar og meiri á eigindlegar mælingar, meiri viðurkenningu á fjölbreytileika rannsókna og ábyrgð í rannsóknarmati og eftirliti með alþjóðlegri þróun í umbótum á starfsháttum við mat á rannsóknum. Á endanum ættu rannsóknarhagsmunir og kynning að vera kjarninn í mati á rannsóknum og allt kapp er lagt á að koma í veg fyrir þreytu, demotivation og of mikið álag á vísindamenn.

Könnun MEXT á matsvísum leiddi í ljós að JIF er einn af mörgum vísbendingum og hefur sem slíkur ekki haft mikil áhrif í japönskum rannsóknum, þó að þetta sé háð fræðigreinum: til dæmis er JIF notkun meiri í læknavísindum - og minna hefðbundin rannsóknarstarfsemi, eins og opin gögn, eru ólíklegri til að vera metin.

Frekari upplýsingar: MEÐLÖGÐ – Í átt að rannsóknarmati til framdráttar vísinda: áskoranir og horfur fyrir æskilegt rannsóknarmat (scj.go.jp)

Að lokum má segja að það sé vaxandi kraftur fyrir umbætur á rannsóknarmati á sumum svæðum, löndum og stofnunum. Dæmi sem sýnd eru hér eru umbætur á landsvísu, að byggja upp hópa eða samtök stofnana sem eru með sama hugarfari sem leita að breytingum, miðun/stýringu á tilteknum geirum og inngrip til að takast á við ranghugmyndir og hegðun.

Þetta er ekki enn samfellt og innifalið alþjóðlegt samtal, né er starfsháttum og innsýn endilega deilt opinskátt. Sumir GYA, IAP og ISC meðlimir eru nú þegar virkir í þessu rými og hægt væri að finna tækifæri til að hjálpa þeim að deila námi sínu og góðri starfshætti sín á milli og með hinum breiðari meðlimum. Opnun Global Observatory of Responsible Research Assessment (AGORRA) af Research on Research Institute (RoRI) síðar árið 2023 mun veita frekari vettvang til að deila námi, fyrir samanburðargreiningu á innlendum og alþjóðlegum umbótakerfum og til að flýta fyrir tveimur- skipti og prófun á góðum hugmyndum í þessum kerfum.

Þessi grein hefur sett fram helstu drifkrafta, tækifæri og áskoranir fyrir umbætur á mati á rannsóknum og safnað saman lýsandi dæmum um breytingar sem eiga sér stað á alþjóðlegum, svæðisbundnum, landsvísu og stofnanastigi. Tilgangur þessa er að virkja GYA, IAP og ISC og viðkomandi meðlimi þeirra, sem mikilvæg kjördæmi hins alþjóðlega rannsóknarvistkerfis.

Byggt á síðasta áratug vísindabókmennta og hagsmunagæslu, eru fimm meginniðurstöður.

1. Nauðsyn þess að endurskoða hvernig einstaklingar, stofnanir og afrakstur rannsókna er metinn er skýr og brýn. Að viðhalda heilindum og gæðum rannsókna, hámarka fjölbreytt, innifalin og mismununarlaus vísindi og hagræða vísindum fyrir almannaheill á heimsvísu eru helstu drifkraftar, sett í samhengi við ört breytilegur heimur.

2. Hvernig rannsóknir eru framkvæmdar, fjármagnaðar, afhentar og miðlaðar er að þróast með hraða. Hreyfing í átt að verkefnismiðuðum og þverfaglegum vísindum, opnum vísindaramma, þróaðri líkön um ritrýni, notkun gervigreindar og vélanáms og hröð uppgangur samfélagsmiðla eru að breyta hefðbundnum aðferðum til að framkvæma og miðla rannsóknum, krefjast nýrrar hugsunar um rannsóknarmatskerfi. og mælikvarðanir og ritrýniferlar sem liggja til grundvallar henni. Fleiri, og brýn, rannsóknir eru nauðsynlegar til að framtíðarsanna þessi kerfi.

3. Nauðsynlegt er að hafa meira jafnvægi á rannsóknarmatskerfum með bæði megindlegum og eigindlegum vísbendingum sem meta margvíslegar gerðir rannsóknarúttaks, ferla og starfsemi. Hins vegar að fullyrða að eigindleg ritrýniferli séu að minnsta kosti jafn mikilvæg og bókfræði er ekki einfalt og það er frekar flókið vegna þess að mismunandi heimshlutar eru á mismunandi stigum í þróun matskerfa sinna: í sumum eru umræður um umbætur á mati á rannsóknum nokkuð langt komnar, í öðrum eru þau nýkomin eða fjarverandi.

4. Nauðsynlegt er að hafa samstillt og raunverulega alþjóðlegt frumkvæði fyrir alla til að virkja samfélög helstu hagsmunaaðila til að þróa og innleiða samræmdar leiðir til að meta og fjármagna rannsóknir; læra hvert af öðru og frá öðrum geirum (einkum rannsóknarfjármögnunum og þróunarstofnunum). Sameiginlegar aðgerðir án aðgreiningar í átt að umbreytandi breytingum munu þurfa að viðurkenna samtengd tengsl frekar en alþjóðavæðingu eða algildingu, þ.e. vera samhengisnæm, meðvituð um mismunandi áskoranir sem mismunandi heimshlutar standa frammi fyrir og ríku misleitni vistkerfis rannsókna, en á sama tíma tryggja nægjanlegt einsleitni til að gera samhæft rannsóknar- og fjármögnunarkerfi og hreyfanleika vísindamanna kleift, til að lágmarka frávik og sundrungu. Að hluta til, einkasamt samtal er hætta á að hlutdrægni og óhagræði verði enn frekar fyrir þá sem hafa verið útilokaðir í gegnum tíðina.

5. Breytingar eru nauðsynlegar á öllum stigum - á heimsvísu, svæðisbundnum, landsvísu og stofnana - vegna þess að mælingar flæða í gegnum allt vistkerfi rannsókna og öll þessi stig eru samtengd. Allir hagsmunaaðilar þurfa að leggja sitt af mörkum sem samstarfsaðilar ekki andstæðingar – þar á meðal fjármögnunaraðilar, háskólar, samtök háskóla og rannsóknastofnana, milliríkjasamtök, ríkisstjórnir og tengslanet stjórnvalda, akademíur, vísindastefnumótendur, rannsóknar- og nýsköpunarstjórar og einstakir rannsakendur. Aðild að GYA, IAP og ISC, sameiginlega, nær yfir stóran hluta þessa auðuga landslags (Mynd 1, Viðauki C).

Mynd 1: Kort af hagsmunaaðilum miðað við GYA, IAP og ISC aðild (Smelltu til að skoða)

Samkomukraftur stofnana eins og GYA, IAP og ISC getur hjálpað til við að sameina fjölbreytileika skoðana og reynslu yfir stóran hluta rannsóknarvistkerfisins: að gera tilraunir með, læra af og byggja á núverandi og nýjum verkefnum. Það er mikilvægt að þeir geti tengst lykilhagsmunaaðilum í að koma af stað breytingum - stjórnvöldum, rannsóknarfjármögnunaraðilum og háskólum, og mikilvægum alþjóðlegum hreyfingum eins og DORA - til að hjálpa til við að virkja arkitektúr leikara. Sameiginlega geta þeir þjónað sem:

● talsmenn – vekja athygli á umræðum um rannsóknarmat, þróun og umbætur í viðurkenningu á því að meðlimir þeirra þjóna sem (i) leiðbeinendur og umsjónarmenn yngri samstarfsmanna, (ii) leiðtoga háskólanna, (iii) stjórnarmenn fjármögnunar- og útgáfustjórna og ( iv) ráðgjafar stefnumótenda;

● frumkvöðlar – kanna mismunandi aðferðir við að meta grunnrannsóknir og hagnýtar rannsóknir á innifalinn og nýstárlegan hátt;

● fyrirmyndir – breyta eigin stofnanamenningu – endurnýja aðild sína, verðlauna, útgáfu- og ráðstefnuhald og ganga á undan með góðu fordæmi;

● matsmenn – nýta sér hlutverk félagsmanna bæði á stofnana- og einstaklingsstigi sem hafa það að markmiði að leggja mat á rannsakendur, rannsóknir og stofnanir, og þeirra sem hafa útgáfu-, ritstjórnar- og ritrýnihlutverk;

● fjármögnunaraðilar – með því að nýta sér fjármögnunarstofnanir sem eiga fulltrúa í ISC, einkum og meðlimi sem stjórna og dreifa stórum innlendum og alþjóðlegum styrkjum;

● samstarfsaðilar – styður þegar stofnaðar herferðir til umbóta, td DORA, CoARA ESB og opna vísindaskuldbindingu UNESCO.

Höfundar þessarar greinar hvetja GYA, IAP og ISC, og samtök eins og þau, til að taka þátt á eftirfarandi hátt:

AÐGERÐ 1: Deildu námi og góðum æfingum

Þessi grein dregur fram dæmi um inngrip og nýjungar víðsvegar að úr heiminum. Rými til að deila reynslu og byggja upp sterkt og innifalið „bandalag hinna viljugu“ er mikilvægt.

1.1: Bjóða upp á vettvang fyrir meðlimi sem eru þegar virkir á þessu svæði til að deila námi sínu og byggja upp stefnumótandi tengsl, sérstaklega á landsvísu. Notaðu þessi dæmi til að hjálpa til við að fylla út Mælaborð DORA [106] um nám og góða ástundun.

1.2: Kannaðu og kortleggðu þróun meðlima í umbótum á mati á rannsóknum til að bera kennsl á stofnana-, lands- og svæðisbundnar aðferðir og til að finna og miðla góðum starfsvenjum. Kallaðu saman þá sem þegar hafa leitt / tekið þátt í stórum innlendum og alþjóðlegum verkefnum til að byggja upp hagsmunagæslu og nám í meðlimum.

AÐGERÐ 2: Gangið á undan með góðu fordæmi

Aðild að GYA, IAP og ISC nær yfir marga hluta vistkerfis rannsókna og hver getur gegnt mikilvægu hlutverki við að móta hvernig árangur sem vísindamaður lítur út.

2.1: Umskipti yfir í framsæknari aðferðafræði við mat á rannsóknum í hinum víðtæka hópi. Ganga á undan með góðu fordæmi og hjálpa til við að breyta menningu rannsóknamats með eigin félagsheimspeki og starfsháttum, á sama tíma og þeir læra af DORA og GRC. Akademíur, sem hefðbundin úrvalsstofnanir, hafa hér ákveðnu hlutverki að gegna – þær ættu að vera hvattar til að víkka út eigin forsendur fyrir kjöri og vali til að endurspegla víðtækari og fleirri skilning á gæðum rannsókna og áhrifum, til að endurspegla þessa fjölhyggju (og með það meiri þátttöku og fjölbreytni) í aðild þeirra.

2.2: Örva svæðisbundið samstarf og forystu. Hvetja svæðisnet GYA meðlima og National Young Academy, svæðisbundin akademíunet IAP og svæðisbundin tengipunkta ISC til að íhuga að líkja eftir stjórnar ALLEA frumkvæði, sniðin að eigin samhengi.

AÐGERÐ 3: Byggja upp stefnumótandi samstarf við lykilkjördæmi.

Þrír aðalaðilarnir sem bera ábyrgð á umbótum á mati á rannsóknum eru stjórnvöld, styrktaraðilar rannsókna og háskólar. GYA, IAP og ISC geta hvert um sig hjálpað til við að koma rannsóknarsamfélaginu í viðleitni sína til að umbótum og brúa sambandsleysið sem nú er til staðar.

3.1: Taktu þátt í forystu GRC til að kanna leiðir til að vinna saman – í meginatriðum til að örva meðlimi og viðkomandi landsfulltrúa GRC til að kanna hvernig rannsóknarsamfélög þeirra geta tekið þátt.

3.2: Taktu þátt í alþjóðlegum og svæðisbundnum netum háskóla, eins og Alþjóðasamtök háskólamanna (IAU), til að þróa ný þjálfunartæki fyrir rannsóknarsamfélagið; nota forystu HEI innan sameiginlegrar aðildar GYA, IAP og ISC sem talsmenn.

3.3: Tengdu aðildarstofnanir í DORA-styrkjalöndum (Argentínu, Ástralíu, Brasilíu, Kólumbíu, Indlandi, Japan, Hollandi, Úganda og Venesúela) við DORA-styrkveitendur til að deila hugmyndum og hugsanlega auka þessi staðbundnu frumkvæði.

3.4: Byggja upp tengsl við leiðandi alþjóðlegar þróunarstofnanir sem þegar eru að beita nýstárlegum og áhrifaríkum aðferðum til rannsóknarmats í lág- og millitekjulöndum og minnst þróuðum löndum.

3.5: Vinna með UNESCO til að hjálpa til við að móta innlendar skuldbindingar um mat á rannsóknum samkvæmt henni Tilmæli um Open Science.

AÐGERÐ 4: Veita vitsmunalega forystu um framtíð rannsóknarmats.

Mikilvægt er að einbeita sér að sérstökum og brýnum áskorunum fyrir umbætur á mati á rannsóknum. GYA, IAP og ISC, og alþjóðleg tengslanet eins og þau, geta nýtt sér boðunarvald sitt, vitsmunalegt vægi og áhrif meðlima sinna og tengsl við lykilkjördæmi.

4.1: Komdu saman með lykilkjördæmum röð umræðuvettvanga með mörgum hagsmunaaðilum eða „Transformation Labs“ til að endurhugsa og innleiða umbætur á mati á rannsóknum – virkja leiðtoga háskólanna og alþjóðlegt (td IAU og IARU) og svæðisbundið net (td LERU og AAU [107) ]), rannsóknarfjármögnunaraðilar (þar á meðal landsfulltrúar GRC), alþjóðlegar þróunarstofnanir og leiðandi útgefendur, meðal annarra. Fáðu nýtt eða notaðu núverandi fjármagn til að fjármagna þessa vinnu (sjá viðauka D fyrir nokkrar bráðabirgðahugmyndir).

4.2: Þróa nýja rannsókn á mikilvægum þætti framtíðarþróunar rannsóknarmats eins og (1) áhrif tækniframfara á rannsóknarmat og jafningjamat (þar á meðal bæði notkun og misnotkun), og hvernig þær gætu þróast í framtíðinni og ( 2) umbætur á jafningjarýnikerfinu á víðtækari hátt (hvað varðar gagnsæi, hreinskilni, getu, viðurkenningu og þjálfun). Bæði atriðin eru óaðskiljanlegur í áreiðanleika þekkingar og áreiðanleika vísinda.

Kjarninn í allri þessari viðleitni ætti að vera þrjú grundvallaratriði:

• Að víkka út matsviðmið fyrir vísindarannsóknir og rannsakendur umfram hefðbundna fræðilega mælikvarða til að fela í sér margvíslegar gerðir rannsóknarúttaks og virkni, þar á meðal megindleg viðmið sem geta mælt samfélagsleg áhrif rannsókna.

• Að hvetja leiðtoga háskóla og rannsóknarfjármögnunaraðila til að samþykkja og hlúa að þessum nýju matsviðmiðum sem mælikvarða á gæði og gildi rannsókna.

• Vinna með þessum leiðtogum að nýrri vitundarvakningu og þjálfun fyrir komandi kynslóðir vísindamanna til að búa þær til nauðsynlega færni til að eiga samskipti og eiga áhrifarík samskipti við stefnumótendur, almenning og önnur lykilkjördæmi; og að stuðla að fjölbreytileika og þátttöku í rannsóknafyrirtækinu.

Höfundar þessarar greinar komast að þeirri niðurstöðu að tengslanet eins og GYA, IAP og ISC, ásamt og stuðning við önnur lykilkjördæmi, geti hjálpað til við að byggja upp heildstætt, þátttöku, alþjóðlegt frumkvæði til að virkja rannsóknarsamfélög, háskóla og aðrar háskólar í kringum þessa dagskrá og til að íhuga hvernig á að hagnýta nýjar leiðir til að meta og fjármagna rannsóknir til að gera þær skilvirkari, sanngjarnari, innihaldsríkari og áhrifaríkari.

Eyðublað

Þessi grein var skrifuð af meðlimum GYA-IAP-ISC Scoping Group, sem starfaði með hléum á milli maí 2021 og febrúar 2023 (nánari upplýsingar í viðauka A):

• Sarah de Rijcke (formaður, Hollandi)

• Clemencia Cosentino (Bandaríkin)

• Robin Crewe (Suður-Afríku)

• Carlo D'Ippoliti (Ítalía)

• Shaheen Motala-Timol (Mauritius)

• Noorsaadah Binti A Rahman (Malasía)

• Laura Rovelli (Argentína)

• David Vaux (Ástralía)

• Yao Yupeng (Kína)

Vinnuhópurinn þakkar Tracey Elliott (ISC yfirráðgjafa) fyrir samhæfingar- og teikningavinnu. Þakkir eru einnig færðar til Alex Rushforth (Center for Science and Technology Studies (CWTS), Leiden University, Hollandi) og Sarah Moore (ISC) fyrir frekari inntak og stuðning.

Starfshópurinn er einnig þakklátur öllum þeim sem leitað var til við gerð þessarar greinar (Viðauki B), sem gáfu sér tíma og deildu sjónarmiðum sínum um mat á rannsóknum í viðkomandi löndum og svæðum, og gagnrýnendum sem tilnefndir eru af GYA, IAP og ISC:

• Karina Batthyány, framkvæmdastjóri félagsvísindaráðs Suður-Ameríku (CLACSO) (Úrúgvæ)

• Richard Catlow, rannsóknarprófessor, University College London (Bretlandi)

• Sibel Eker, lektor við Radbound háskólann (Holland)

• Encieh Erfani, vísindamaður, alþjóðlegri miðstöð fyrir fræðilega eðlisfræði (Íran, Ítalía)

• Motoko Kotani, varaforseti, Riken (Japan)

• Pradeep Kumar, prófessor og yfirmaður við háskólann í Witwatersrand (Suður-Afríku)

• Boon Han Lim, dósent við háskólann í Tinku Abdul Rahman (UTAR) (Malasíu)

• Priscilla Kolibea Mante, dósent við Kwame Nkrumah vísinda- og tækniháskólann (KNUST) (Gana)

• Alma Hernández-Mondragón, forseti, Mexican Association for the Advancement of Science (AMEXAC) (Mexíkó)

• Khatijah Mohamad Yusoff, prófessor við háskólann í Putra Malasíu (UPM) (Malasía)

1. UNESCO. 2021. Vísindaskýrsla UNESCO: Kapphlaupið gegn tíma fyrir snjallari þróun (1. kafli). UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Konunglega félagið. (2012). Vísindi sem opið fyrirtæki. Vísindastefnumiðstöð Royal Society. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Hausstein, S. og Larivière, V. 2014. Notkun bókfræði við mat á rannsóknum: möguleikar, takmarkanir og skaðleg áhrif. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (ritstj.), Incentives and Performance, Cham, Springer, bls. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW og Glasziou, P. 2014 Lífeðlisfræðilegar rannsóknir: auka verðmæti, draga úr sóun. The Lancet, Vol. 383, nr. 9912, bls. 101–104.

5. Bol, T., de Vaan, M. og van de Rijt, A. 2018. Matthew áhrifin í fjármögnun vísinda. Proceedings of the National Academy of Sciences of the United States of America, Vol. 115, nr. 19, bls. 4887–4890.

6. Alþjóðavísindaráð. 2021. Opening the Record of Science: Making Scholarly Publishing Work for Science in the Digital Era. París, Frakkland, ISC. https://doi.org/10.24948/2021.01

7. Müller, R. og de Ricke, S. 2017. Hugsun með vísbendingum. Að kanna þekkingarfræðileg áhrif fræðilegra frammistöðuvísa í lífvísindum. Rannsóknarmat, árg. 26, nr. 3, bls. 157–168.

8. Ansede, M. 2023. Einn mest vitnaðasti vísindamaður heims, Rafael Luque, dæmdur í 13 ár án launa. El Paίs. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Barátta gegn rándýrum fræðilegum tímaritum og ráðstefnum. Trieste, Ítalía, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM og Negra, D. 2022. Skynjun á algengi og áhrifum rándýrra fræðilegra tímarita og ráðstefnur: alþjóðleg könnun meðal vísindamanna. Learned Publishing, Vol. 3, nr. 4, bls. 516–528.

11. Collyer, TA 2019. 'Salami sneið' hjálpar starfsframa en skaðar vísindin. Nature Human Behaviour, Vol. 3, bls. 1005–1006.

12. Abad-García, MF 2019. Ritstuldur og rándýr tímarit: ógn við vísindalega heiðarleika. Anales De Pediatría (ensk útgáfa), Vol. 90, nr. 1, bls. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI og Adegboyega, K. 2013. Jaðarnám og samhengi erlendra greiddra útgáfu í Nígeríu. Núverandi félagsfræði, árg. 62, nr. 5, bls. 666–684.

14. Ordway, D.-M. 2021. Akademísk tímarit, blaðamenn viðhalda röngum upplýsingum við meðhöndlun rannsókna. Heimild blaðamannsins. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. og Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment: Progress, Obstacles and leiðina framundan. London, Bretlandi, Research on Research Institute.

16. Hnattræna norður vísar almennt til iðnvæddra eða þróaðra hagkerfa, eins og þau eru skilgreind af Sameinuðu þjóðunum (2021), á meðan hið alþjóðlega suður vísar til hagkerfa sem nýlega hafa verið iðnvædd eða sem eru í iðnvæðingu eða þróun, og sem eru oft í gangi eða fyrrverandi viðfangsefni nýlendustefnunnar.

17. InterAcademy Partnership. 12. lota: Að sigra frá meiri þátttöku: tengsl milli fjölbreytileika og akademískrar menningar. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Vinnuhópur um vísindalegt ágæti. Berlín, Þýskaland, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Unleashing Science: Deliving Missions for Sustainability. París, Frakkland, ISC. Doi: 10.24948/2021.04

20. ISC. 2022. Útdráttur úr Peter Ræða Gluckmans á ráðstefnunni Endless Frontier Symposium. París, Frakklandi. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Belcher, B., Clau, R., Davel, R., Jones, S. og Pinto, D. 2021. Verkfæri fyrir þverfaglega áætlanagerð og mat á rannsóknum. Samþætting og innleiðing Innsýn. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR og Zornes, DA 2016. Skilgreining og mat á gæðum rannsókna í þverfaglegu samhengi. Rannsóknarmat, árg. 25, nr. 1, bls. 1–17.

23. Wilsdon, J. o.fl. 2015. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. HEFCE.

24. UNESCO. Tilmæli UNESCO um opin vísindi. París, Frakkland, UNESCO. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Heimildarmaður UNESCO leiddi í ljós að þetta verk er í biðstöðu um þessar mundir vegna þess að umræðan einkennist af aðeins fáum og á ekki endilega hljómgrunn hjá mörgum: víðtækar samræður verða að vera á undan þróun tilmæla.

26. Barroga, E. 2020. Nýstárlegar aðferðir við ritrýni. Journal of Korean Medical Science, Vol. 35, nr. 20, bls. e138.

27. Woods, HB, o.fl. 2022. Nýjungar í ritrýni í fræðilegri útgáfu: meta-yfirlit. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB og Brumberg, J. 2022. Innovating peer review, reconfiguring scholarly communication: An analytical overview of ongoing peer review innovation activity. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Holm, J., Waltman, L., Newman-Griffis, D. og Wilsdon, J. 2022. Good Practice in the Use of Machine Learning & AI by Research Funding Organizations: Insights from a Workshop Series. London, Bretlandi, Research on Research Institute. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Procter, R., Glover, B. og Jones, E. 2020. Research 4.0 Research in the Age of Automation. London, Bretlandi, DEMOS.

31. Baker, M. 2015. Snjallhugbúnaður kemur auga á tölfræðilegar villur í sálfræðiritum. Náttúra, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Rannsakendur nota gervigreind til að greina ritrýni. Náttúra 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. og Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. AI-undirstaða tilvitnunarmatstæki: gott, slæmt eða ljótt? Biblíufræðingurinn. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. og Gipp, B. 2020. Academic ritstuldsuppgötvun: kerfisbundin ritrýni. ACM Computing Surveys, Vol. 52, nr. 6, bls. 1–42.

36. Quach, K. 2022. Útgefendur nota gervigreind til að ná slæmum vísindamönnum sem lækna gögn. Skráin. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R og Bockting, C. 2023. ChatGPT: fimm forgangsverkefni fyrir rannsóknir. Náttúra, Vol. 614, bls. 224–226.

38. Chawla, D. 2022. Ætti gervigreind að gegna hlutverki við mat á gæðum rannsókna? Náttúra, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Gervigreind er að velja umsagnaraðila um styrki í Kína. Náttúra, Vol. 569, bls. 316–317.

40. Mike, T. 2022. Er hægt að meta gæði útgefinna fræðiritagreina með vélanámi? Quantitative Science Studies, Vol. 3, nr. 1, bls. 208–226.

41. Chomsky, N., Roberts, I. og Watumull, J. 2023. Falsloforðið um ChatGPT. New York Times. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivate. 2022. Rannsóknarmat: Uppruni, þróun, niðurstöður. Clarivate. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ og Zwitter, A. 2022. Gervigreindarglæpur: yfirlit yfir illgjarn notkun og misnotkun á gervigreind. IEEE Access, Vol. 10, bls 77110–77122.

44. Castelvecchi, D. 2019. AI frumkvöðull: „Hætturnar af misnotkun eru mjög raunverulegar“. Náttúra, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Jordan, K. 2022. Skynjun fræðimanna á áhrifum rannsókna og þátttöku í gegnum samskipti á samfélagsmiðlum. Nám, miðlun og tækni, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. og Costas, R. 2019. Samfélagsmiðlamælingar fyrir nýtt rannsóknarmat. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (ritstj.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Rafols, I. og Stirling, A. 2020. Hönnun vísbendinga til að opna mat. Innsýn úr rannsóknarmati. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G. ., Hod, O. og Baul, J. 2022. Back to Basics. Halle, Þýskalandi, Global Young Academy.

49. Jong, L., Franssen, T. og Pinfield, S. 2021. Excellence in the Research Ecosystem: A Literature Review. London, Bretlandi, Research on Research Institute.

50. Hatch, A. og Curry, S. 2020. Rannsóknamenning: Það er erfitt en ekki ómögulegt að breyta því hvernig við metum rannsóknir. eLife, Vol. 9, bls. e58654.

51. IAP. 2022. Barátta gegn rándýrum fræðilegum tímaritum og ráðstefnum. Trieste, Ítalía, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. og Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Náttúra, Vol. 520, bls. 429–431.

53. Publons. 2018. Alþjóðlegt ástand jafningjarýni. London, Bretlandi, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. og Trinquart, L. 2016. Alheimsbyrði ritrýni tímarita í lífeindafræðilegum bókmenntum: sterkt ójafnvægi í sameiginlegu fyrirtæki. PLoS ONE, Vol. 11, nr. 11, bls. e0166387.

55. Forrester, B. 2023. Fed up and burn out: 'quiet quitting' hits akademíuna. Náttúra, Vol. 615, bls. 751–753.

56. Hatch, A. og Curry, S. 2020. Rannsóknamenning: að breyta því hvernig við metum rannsóknir er erfitt en ekki ómögulegt. eLife, Vol. 9, bls. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. og Dirnagi, U. 2020. The Hong Kong Reglur til að meta vísindamenn: stuðla að heilindum rannsókna. PLoS Biology, Vol. 18, nr. 7, bls. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. og Kerridge, S. 2015. The Metric Sjávarfall: Skýrsla óháðrar endurskoðunar á hlutverki mælikvarða í rannsóknarmati og stjórnun. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. og Wilsdon, J. 2022. Að virkja metric Tide: Indicators, Infrastructures & Priorities for UK Responsible Research Assessment. London, Bretlandi, Research on Research Institute.

60. Ritstjórn náttúrunnar. 2022. Styðjið djarfa framtíðarsýn Evrópu um ábyrgt rannsóknarmat. Náttúra, Vol. 607, bls. 636.

61. Yfirlýsing um rannsóknarmat (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. og Rafols, I. 2015. Bibliometrics: The Leiden Manifesto for research metrics. Náttúra, Vol. 520, bls. 429–431.

63. Curry, S., Gadd, E. og Wilsdon, J. 2022. Virkja metra fjöru: Vísar, innviðir og forgangsröðun fyrir mat á ábyrgum rannsóknum í Bretlandi. London, Bretlandi, Research on Research Institute. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. DÓRA. San Francisco yfirlýsingin um rannsóknarmat. https://sfdora.org/read/

65. DÓRA. Verkfæri til að efla rannsóknarmat. DÓRA. https://sfdora.org/project-tara/

66. DÓRA. DORA Community Engagement Grants: Supporting academic Assessment Reform https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Óreglu. UMFANG Rammi um rannsóknarmat. https://inorms.net/scope-framework-for-research-evaluation/

68. Óreglu. SCOPE ramma. https://inorms.net/scope-framework-for-research-evaluation/

69. Torfin, S. 2018. Research Quality Plus. Alþjóðleg þróunarrannsóknarmiðstöð. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. og Grant, L. 2019. Ethical Action in Global Research: A Toolkit. Edinborg, Skotlandi, Edinborgarháskóli. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Kenningar um breytingar í alþjóðlegri þróun: samskipti, nám eða ábyrgð? Asíusjóðurinn. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. og Dias, SM 2021. Ábyrg rannsóknarmat. Alþjóðlegt rannsóknarráð. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Alheimsrannsóknaráðið. GRC ábyrgt rannsóknarmat. Youtube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. og Wilsdon, J. 2020. The Changing Role of Funders in Responsible Research Assessment. London, Bretlandi, Research on Research Institute. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Alþjóðlegt rannsóknarráð. Vinnuhópur um ábyrgan rannsóknarmat. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Global Young Academy. Vísindalegt afbragð. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Adams, J., Beardsley, R., Bornmann, L., Grant, J., Szomszor, M. og Williams, K. 2022. Rannsóknarmat: Uppruni, þróun, niðurstöður. Stofnun um vísindaupplýsingar. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. DÓRA. Auðlindasafn. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. og Lakoduk, A. 2021. Reimagining Academic Career Assessment: Stories of Innovation and Change. DÓRA. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Coalition for Advancing Research Assessment (CoARA). https://coara.eu/

81. CoARA. 2022. Samningur um endurbætur á rannsóknarmati. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Ritstjórn náttúrunnar. 2022. Styðjið djarfa framtíðarsýn Evrópu um ábyrgt rannsóknarmat. Náttúra, Vol. 607, bls. 636.

83. Opin og algild vísindi. OPUS Home – Open and Universal Science (OPUS) Project. https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS færist áfram í ábyrgara rannsóknarmat. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Evrópska rannsóknarráðið. 2022. Vísindaráð ERC ákveður breytingar á matseyðublöðum og ferlum fyrir 2024 útkallana. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Allar evrópskar akademíur. 2022. ALLEA yfirlýsing um endurbætur á rannsóknarmati innan evrópsku akademíanna. ALLEA. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA og GYA. 2022. Sameiginleg yfirlýsing um niðurstöður ráðs ESB um rannsóknarmat og innleiðingu opinna vísinda. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. A Pathway into Multidimensional Academic Career – A LERU Framework for the Assessment of Researchers. LERU, Leuven, Belgía https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Konunglega félagið. Ferilskrá fyrir vísindamenn. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Segja frásagnarferilskrár réttu söguna? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. RICYT. Rannsakendur eftir atvinnugreinum (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. CLACSO. 2020. Mat á vísindarannsóknum. Towards a Transformation of Scientific Research Assessment in Latin America and the Caribbean Series frá The Latin American Forum for Research Assessment (FOLEC). CLACSO, Buenos Aires, Argentína https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. CLACSO. 2021. Til umbreytingar á matskerfum í Rómönsku Ameríku og Karíbahafinu, verkfæri til að stuðla að nýjum matsstefnu. Ritröð frá The Latin American Forum for Research Assessment (FOLEC). CLACSO, Buenos Aires, Argentína https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Gras, N. 2022. Forms Of Research Assessment Oriented At Development Problems. Starfshættir og sjónarhorn frá innlendum vísinda- og tæknistofnunum og æðri menntastofnunum í Rómönsku Ameríku og Karíbahafinu. FOLEC. CLACSO, Buenos Aires, Argentína 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO er Félagsvísindaráð á svæðinu og leiðandi meistari fyrir félagslega viðeigandi og ábyrg vísindi. Latin American Forum on Research Assessment (FOLEC) er svæðisbundið rými fyrir umræðu og miðlun góðra starfsvenja og er að þróa svæðisbundnar leiðbeiningar um rannsóknarmat til að styðja við þessar meginreglur. Báðir veita sterka svæðisbundna forystu.

96. SGCI. Vísindastyrkjaráðsátakið (SGCI) í Afríku sunnan Sahara. https://sgciafrica.org/

97. SGCI. Tijssen, R. og Kraemer-Mbula, E. 2017. Stefnumótun: Sjónarmið um ágæti rannsókna í hnattrænum suðurlöndum – mat, vöktun og mat í samhengi þróunarlanda. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- country-contexts.pdf

98. Tijssen, R. og Kraemer-Mbula, E. 2018. Árangur í rannsóknum í Afríku: stefnur, skynjun og árangur. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. og Kraemer-Mbula, E. 2018. Árangur í rannsóknum í Afríku: stefnur, skynjun og árangur. Vísindi og opinber stefna, árg. 45 nr. 3, bls. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Leiðbeiningar um góða starfshætti um gæði rannsóknarsamkeppni. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. NRF hýsir stefnumótandi fundi til að efla rannsóknarsamstarf í Afríku - National Research Foundation

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR og Zornes, DA 2016. Skilgreining og mat á gæðum rannsókna í þverfaglegu samhengi, Research Evaluation, Vol. 25, bls: 1–17, https://doi.org/10.1093/reseval/rvv025

103. ARIN. 2020. Vísindatækni og nýsköpun (STI) Metrics – Africa Research & Impact Network (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. og Feinstein O. 2022. Research Quality Plus (RQ+) – Evaluating Research Differently. Ottawa, International Development Research Centre. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. International Academy for Monitoring and Evaluation

106. DÓRA. TARA mælaborð. https://sfdora.org/tara-landing-page/

107. IARU, Alþjóðasamtök rannsóknafrekra háskóla; LERU, League of European Research Universities; AAU, Afríkusamtök háskólanna