Recensie: De Publicatiefabriek

In ‘De Publicatiefabriek’ (uitgeverij Vantilt, ISBN 9789460041242), beschrijft Ruud Abma in detail hoe Diederik Stapel tot zijn fraude kwam en het effect van deze fraude op de sociale wetenschappen. Het boek bevat veel directe herhalingen uit ‘Ontspoorde wetenschap’ van van Kolfschoten, ‘Ontsporing’ van Stapel en het rapport van de commissie Levelt. Abma analyseert de invloed van het diepgewortelde gebruik van productie indicatoren op de wetenschappelijke kwaliteit. Hij slaagt er bijzonder goed in om duidelijk en plausibel te beschrijven hoe, in het kielzog van schijnbaar objectieve criteria, slodderwetenschap kan ontstaan. Mogelijke methodologische verbeteringen van de sociale psychologie worden genoemd. Hoewel er zeker al initiatieven zijn gestart, worden de resultaten en effecten daarvan niet kritisch geanalyseerd.

Abma legt uit heel duidelijk uit hoe beleidsmakers gebruik maken van objectieve, niet-inhoudelijke bibliometrische indicatoren om individuele wetenschappers, groepen of zelfs hele instituten aan te sturen. Dit zijn in essentie statistische bewerkingen van aantallen publicaties en citaties. Vakinhoudelijke kwaliteitscriteria kunnen in de evaluaties nauwelijks meegeteld worden door de beleidsmakers. De wetenschappers worden gestimuleerd om veel te publiceren in tijdschriften met een hoog gemiddeld aantal citaties per bijdrage. Hiervoor moeten ze natuurlijk wel weer aan de criteria van de tijdschriften voldoen. Aansprekende artikelen die veel gelezen en geciteerd zullen worden bevatten een combinatie van duidelijke, positieve resultaten met nieuwe effecten en aansprekende verbanden. De even belangrijke negatieve resultaten zijn veel moeilijker te publiceren, zo blijkt. Volgens Abma sporen wetenschappelijke tijdschriften wetenschappers soms zelfs aan om nuanceringen en minder overtuigende data te verwijderen uit het manuscript.

Een dynamiek is ontstaan waarin de schijnobjectiviteit van indices het primaire proces van de wetenschap verstoort.

Ten slotte gaat Abma in op de reacties op de sociale wetenschappen in het algemeen en de sociale psychologie en uit het veld. De uitspraak van de commissie Levelt dat in de sociale psychologie een cultuur van slodderwetenschap zou zijn ontstaan, maakte veel los. Oude coryfeeën reageren met ingezonden brieven en uiten hun frustratie over het rapport. Een aantal jonge sociaal psychologen heeft de handschoen opgepakt, en probeert het vak methodologisch te verbeteren. Maar wat betekent dat? Levelt, die enkel een strikt Popperiaanse experimentele opzet accepteert, wordt gecontrasteerd met Stapel die experimenten exploratief uitvoert maar als confirmatief beschrijft. De verschillende posities van methodologen en enkele sociaalpsychologen worden beschreven over de rol van het experiment, de replicatie daarvan, het strikt vooraf formuleren van de hypothese en dubieuze praktijken als p-hacking. Suggesties over centrale dataopslag of het toestaan van een maximum aantal publicaties worden genoemd.

Wat me erg opvalt in deze discussie is de notie dat effecten bestaan of niet. Replicatieonderzoek dan primair bedoeld is om, door middel van exacte replicaties, de robuustheid van een waarneming te valideren. Dat lijkt me echt onjuist. Als in experimenten soms sterke effecten worden gezien en soms niet, dat moet dat juist iets heel wezenlijks zeggen over het systeem dat onderzocht wordt. Replicatieonderzoek zou juist inzicht kunnen geven in de grilligheid van het systeem, en wellicht zelfs een uitspraak kunnen doen over de condities waaronder wel en waaronder geen duidelijke effecten ontstaan. Een educatief voorbeeld hiervoor is te zien in dit youtube filmpje van een chaotische slinger met 4 magneten. De bewegingsvergelijkingen zijn precies bekend en met een computer te berekenen. Daarnaast kan het systeem experimenteel volledig uitgeplozen worden. In dit voorbeeld wordt het verband is tussen de start,- en eindpunten van de slinger bepaald. De uitkomst (in hoge resolutie te zien  op 3 minuten 37 s) toont duidelijk hoe, afhankelijk van het startpunt een sterk effect zich aftekent, of juist helemaal geen effect te onderscheiden is. Hoewel uit de bewegingsvergelijking de eindpositie van de slinger te berekend kan worden, is de voorspellende waarde van de berekening nihil. Minuscule variaties in de begincondities zijn genoeg om de voorspelling te laten falen.

De theorie is dus strikt genomen niet falsificeerbaar en het experiment niet exact reproduceerbaar. Methoden en technieken die optimaal geschikt zijn voor de bestudering van de ene klasse van systemen kunnen niet probleemloos overal worden ingezet. Maar replicatiestudies kunnen juist wel prachtig de experimentele grilligheden blootleggen.

De publicatiefabriek geeft een goed overzicht van de affaire Stapel en de ontwikkelingen die daarop volgden. Zeker  voor diegenen die niet goed bekend zijn met deze affaire, en de boeken van Kolfschoten en Stapel en het rapport van de commissie Levelt niet hebben gelezen biedt het een goed, kort en bondig overzicht. Persoonlijk vind ik dat het boek te veel blijft hangen in een herschikking van oud materiaal, en was ik meer geïnteresseerd geweest in een kritische discussie over de mogelijke verbeteringen  in dit veld en de wetenschap in het algemeen. Abmas analyse over de aansturing van wetenschap in Nederland is generiek. Dit boek is daarom zeker ook relevant voor wetenschappers uit andere disciplines.

Deze recensie verscheen in de oktobereditie van het tijdschrift de Psycholoog, het vaktijdschrift van en voor psychologen, uitgegeven door het Nederlands Instituut van Psychologen.

Advertisements

Over Marco de Baar

http://de.linkedin.com/pub/marco-de-baar/5/141/b33
Dit bericht werd geplaatst in Reflectie en getagged met , . Maak dit favoriet permalink.

4 reacties op Recensie: De Publicatiefabriek

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit / Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit / Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit / Bijwerken )

Google+ photo

Je reageert onder je Google+ account. Log uit / Bijwerken )

Verbinden met %s