Op de hoogvlakte

Afgelopen week verscheen er een interessant rapport van het Rathenau Instituut. Een terugblik op 20 jaar onderzoeksevaluatie in Nederland, eerst op basis van VSNU-protocollen en vanaf 2003 op basis van het Standard Evaluation Protocol (SEP). Het rapport is kort in z’n soort (nog geen 20 pagina’s), kent een aantal onthullende grafieken en taalgebruik dat gelukkig nu eens niet verhullend is.

Voorbeeldje?

In onderstaande tabel staat aangegeven wat het doel is dat verschillende landen nastreven met hun systeem van landelijke onderzoeksevaluatie. In een aantal landen is dat duidelijk:  En in Nederland? Zie de tabel (p.15).😉

Rathenau1

De auteurs van het rapport vatten dat als volgt samen: “het (ontbreekt) in Nederland aan een nationale doelstelling, aan een centrale organisatie die verantwoordelijkheid draagt en aan voorgeschreven consequenties verbonden aan de uitkomst van een evaluatie. De Nederlandse situatie is uniek: de verantwoordelijkheid ligt volledig bij de instellingen.”

Onderstaande grafiek (p.10) is de meest opvallende uit het rapport: in de afgelopen twintig jaar is de gemiddelde beoordeling van dat onderzoek voor alle vijf onderzochte criteria gestegen van een 3,5 (tussen voldoende en goed, op een schaal van 5) naar 4,5 (tussen zeer goed en excellent, op een inmiddels aangepaste schaal van 5). Kortom, gemiddeld is ons wetenschappelijk onderzoek internationaal concurrerend, zo niet wereldleidend!

Rathenau2

Het deed bij mij meteen de vraag postvatten: wordt er dan nooit meer een ‘laag’ cijfer uitgedeeld? (er rekening mee houdend dat zelfs een 2 volgens de huidige schaal nog altijd een voldoende is). Daarvoor zou ik natuurlijk toegang moeten hebben tot de database die aan het onderzoek van Rathenau, overigens in samenwerking met CHEPS van de Universiteit Twente, ten grondslag ligt: de PER Base waarin de resultaten van alle onderzoeksevaluaties sinds 1993 zijn opgeslagen. Op de websites van Rathenau en CHEPS is echter geen link naar die database terug te vinden. En dus maar de vraag daarnaar op Twitter gezet:

Het antwoord van Rathenau kwam de volgende dag:

Nu kan ik dat wel doen, maar het is natuurlijk toch raar dat in het huidige tijdsgewricht van verantwoording en transparantie een dergelijke database niet gewoon voor iedereen toegankelijk is. Zou het feit dat dat niet zo is wellicht samenhangen met het feit dat universiteiten, in tegenstelling tot hetgeen ze daarover afgesproken hebben, onderzoeksevaluaties niet in alle gevallen openbaar maken? En dat ze dus ook niet willen dat iedere willekeurige Nederlandse burger door te neuzen in die database er achter zou kunnen komen dat toch niet al dat wetenschappelijke onderzoek excellent en wereldleidend is?

Het Nederlandse hoger onderwijs en wetenschappelijk onderzoek wordt regelmatig vergeleken met een hoogvlakte zonder pieken. Ik ben toch ook benieuwd of die hoogvlakte niet enkele diepe dalen kent.

3 comments so far

  1. Stefan on

    Dag Bert,

    Dank voor je aandacht en complimenten voor onze publicatie op je blog! De reden dat we je vroegen om contact met ons op te nemen om de database in te kunnen zien, is dat deze op dat moment bij DANS KNAW gedeponeerd werd. Zij zorgen ervoor dat onderzoeksdata op een toegankelijke manier voor lange tijd beschikbaar is.
    Via de mail hadden we je de database al eerder kunnen toesturen. De achterliggende data is immers, als het goed is, via de openbare evaluatierapporten gewoon toegankelijk. Onze database is wel het eerste overzicht van de scores in ál deze rapporten.
    De link waarmee iedereen die over SPSS beschikt vanaf nu zelf de data kan inzien én kan gebruiken is als volgt:

    https://easy.dans.knaw.nl/ui/datasets/id/easy-dataset:54621

    Heb je suggesties om de data duidelijker te presenteren? We horen het graag!

    Via twitter stuur ik je nog enkele aanvullende grafieken met betrekking tot je andere vraag: scoort niemand dan meer een 2? Tipje van de sluier: ongeveer 80% van de groepen scoort nu tussen de 4 en de 5.

    Groet Stefan de Jong
    Onderzoeker Rathenau Instituut en een van de auteurs ‘Twintig jaar onderzoeksevaluatie’

    • zeemanspraat on

      Dag Stefan, dank voor je uitvoerige reactie. Jammer dat ik SPSS niet in de vingers heb, want dan zou ik graag die data een keer te lijf willen gaan. Prima overigens dat ze bij DANS gedeponeerd zijn; zo hoort het ook.

  2. Stefan on

    Dag Bert,

    Ik ben nagegaan of een Excel export zinnig voor je zou kunnen zijn, maar dat wordt wat omslachtig ivm legenda’s. Als je vooral een blik wilt werpen op de toegekende cijfers, mail me dan even. Die staan namelijk wel overzichtelijk in de Excel export, samen met de namen van de onderzoeksgroepen.

    Groet Stefan


Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s

%d bloggers op de volgende wijze: