Management en bibliometrische analyse

In tegenstelling tot wat vaak wordt gesuggereerd is het wetenschapsbedrijf sterk output-georiënteerd. Wetenschappers worden knalhard afgerekend op hun output, die vaak gelijkgesteld wordt aan de publicaties die hij / zij in  peer-reviewed journals weet te plaatsen. Het aantal citaties dat deze papers krijgen, wordt gebruikt als indicators voor het belang van de papers.

Vaak wordt dan gekeken naar de Hirsch index. Hoe gaat dat? Alle papers (co-auteurschappen tellen mee) van een individuele wetenschapper worden gerankt naar citaties, met het hoogste aantal citaties eerst, op nummer 1, het tweede aantal citaties op nummer 2 enzovoort. Met andere woorden: het aantal citaties neemt af met het oplopende nummer. Op een bepaald moment kruist het nummer de citaties. Het nummer waarbij dat plaatsvindt, is je Hirsh index.

Er is op deze methode nogal wat af te dingen. Om te beginnen is de Hirsh index een oudemannenindex: hoe ouder je wordt je verder je Hirsch index stijgt. Verzadiging treedt pas op als de wetenschapper ongeveer 50 is. Je kunt dus geen wetenschappers van verschillende leeftijd vergelijken op grond van deze index. Daarnaast is een kernpunt bij alle bibliografische onderzoeken dat per vakgebied de citatiecultuur en de teamgrootte verschillen. Dat kan zelfs binnen vakgebieden aanzienlijk verschillen. Berucht zijn de big science bijdragen met 8 of meer co-auteurs. Mijn record is een paper waarop ik een van de meer dan 80 co-auteurs ben. Een ander notoir probleem betreft de zelfcitaties. Het simpelweg meetellen van zelfcitaties geeft een positieve bias voor wetenschappers die ‘overdreven graag’ naar hun eigen werk of dat van hun collega’s verwijzen, het volledig uitsluiten van zelfcitaties leidt tot bizarre situaties. Er zijn veel papers in de big science met coauteurs van verschillende laboratoria. Het uitsluiten van zelfcitaties zou betekenen dat deze bijdragen niet meetellen. Naast de Hirsch index zijn er alternatieven analyse methodes, maar uiteindelijk draait het om papers en citaties.

Maar is dat de enige output die een wetenschapper heeft? En beperken we in onze analyses niet tot die parameters die makkelijk meetbaar zijn, terwijl we zouden moeten proberen juist de moeilijk te meten performance indicatoren te meten? Laat ik een voorbeeld geven: mijzelf. Mijn Hirsch index bedraagt 25. En, zegt dat wat? Ik vind van niet.

Ik ben in 1999 gepromoveerd. Tot 2004 was ik als wetenschapper actief in verschillende grote teams. Van 2004-2006 had ik een zware operationele management taak. Ik moest er voor zorgen dat de JET plant beschikbaar was voor experimenten. Met andere woorden, ik werkte van 2004 tot 2007 niet als wetenschapper, maar deed werk dat wetenschap mogelijk maakt, en meer dan 200 andere wetenschappers in staat stelt om hun werk te doen. In 2007 ben ik teruggehaald naar Nederland om twee teams te leiden. Beide teams hadden op dat moment problemen –van zeer verschillende aard- en het eerste jaar ben ik alleen maar bezig geweest met het herdefiniëren van het takenpakket, het opleiden van het team, het stellen van kwaliteitseisen, het leggen van contacten met het bedrijfsleven, allemaal managementtaken die de twee teams weer op de rails moesten zetten. Dat heeft succes gehad, en vanaf 2009 draaien we weer op niveau.

Laten we een kijken hoe dat uitpakt voor mijn publicaties:

Publicaties van Marco de Baar. Let op het effect van managementtaken (2004, 2005, 2006) en het reorganiseren van twee teams (2007-2008) op mijn output

Van 2000 tot 2004 zie je mijn centrale rol in het grote internationale team terug. Door mijn rol, ben ik in staat om veel co-auteurschappen te scoren. Dit leidt tot 15 publicaties per jaar 2004 en 2005 (Van experimenten die zijn uitgevoerd in 2003). In de periode van 2004 tot en met 2008 is een dramatische afname van mijn publicaties te zien. Ik schakelde over naar een managementrol, met als all-time low 2 reviewed publicaties in 2008. Ik heb in die periode natuurlijk veel geproduceerd, maar dat valt allemaal achter de horizon van de publicatiemetingen.

En hoe zit het met mijn citaties?

Hoewel citaties het efect hebben om uitgesmeerd te worden over jaren, is het effect van mijn managementtaken duidelijk: er is een dip in de citaties te zien!

Citaties Marco de Baar. Zelfs in de citaties (!) is een dip te herkennen ten gevolge van managementtaken. Maar 2012 laat zien waarvoor we het gedaan hebben!

Ik heb hierboven alleen gehad over management taken, maar academen doen naast onderzoek en management nog veel meer. Onderwijs is natuurlijk ook verschrikkelijk belangrijk, en dat komt niet terug in de bibliometrische analyses. Outreach is ook belangrijk. En zo kan ik nog wel even doorgaan. Er zijn gewoon belangrijke taken voor wetenschappers, die niet leiden tot publicaties. De wetenschappers die deze taken aannemen, zien hun activiteit negatief (!) correleren met de het aantal publicaties en citaties. Deze indicatoren zijn dan een slecht instrument om de output van de wetenschappers te meten.

Vaak worden de bibliometrische gegevens gebruikt om de potentie van een individuele wetenschapper te schatten. Ik hoop dat het bovenstaande overtuigend heeft aangetoond dat er periodes van verminderde output in papers kunnen zijn, die niet representatief zijn voor het outputgenererende vermogen.

Het is daarom ook heel goed dat er bij individuele voorstellen die in competitie worden ingediend, en waar er gezocht wordt naar persoonlijke excellentie, deze periodes in acht worden genomen. Dit is bijzonder relevant voor vrouwelijke wetenschappers die een paar jaar aan zorgtaken hebben besteed. Willen we excellente vrouwen voor de organisatie behouden, dan moeten we deze periodes verdisconteren, anders verliezen we talent.

Met dank aan Wendy Geerts!