Ring van wetenschapsfraudeurs ontdekt.

Veel beta’s deden de recente gevallen van wetenschapsfraude af als een probleem van de geesteswetenschappen. ‘Onze’ vakken zijn zo ingekaderd door de empirie en natuurwetten, dat fraude bijna niet mogelijk is, zo redeneren veel van mijn collega’s. Een voorbeeld van een groot fraudegeval uit de natuurkunde werd terzijde geschoven als een interessant freak-accident.

Het idee dat fraude makkelijker in de geesteswetenschappen zou plaatsvinden is echter erg naief! Het wordt gevoed door de notie dat fraude alleen kan plaatsvinden aan de start van de keten, het analyseren van de data en het schrijven van het artikel. Maar fraude kan worden gepleegd in het hele proces: data-aquisitie, schrijven, artikel aanbieden, en refereeing.

Peer-reviewing is het systeem dat wetenschappers benaderd worden door journals om het werk van hun peers te beoordelen. Dit werk is vaak een publicatie die ter plaatsing is aangeboden bij het journal, maar het kan ook om voorstellen gaan. Vaak vindt peer-reviewing single blind plaats. Dat wil zeggen: de referee weet wel de namen van de auteurs, maar de auteurs weten niet wie de refrees zijn. Er zijn goede argumenten te geven voor waarom het proces zo is opgezet, maar blind reviewing biedt kansen voor identiteitsfraude. En er zijn wetenschappers die in gat springen, zo blijkt.

Er waren al wat individuele gevallen, zoals de Koreaanse wetenschapper Hyung-In Moon refereede zijn eigen papers met fake-identities. De verzonnen peers waren natuurlijk erg onder indruk van Moons werk. Een andere opmerkelijke affaire was het hacken van het computer systeem van Elsevier om de database met e-mail accounts te vervuilen.

Na deze eerdere berichten over individuele wetenschappers die het systeem van peer-reviewing probeerden te omzeilen, is er nu voor het eerst aangetoond dat dat een journal slachtoffer is geworden van georganiseerde fraude, gepleegd door een ‘ring‘ van wetenschapsfraudeurs. Het Journal of Vibration and Control (JVC) heeft aangekondigd 60 papers terug te trekken.

JVC publiceert artikelen over “Analytical, computational and experimental studies of vibration phenomena and their control. The scope encompasses all linear and nonlinear vibration phenomena and covers topics such as: vibration and control of structures and machinery, signal analysis, aeroelasticity, neural networks, structural control and acoustics, noise and noise control, waves in solids and fluids and shock waves.” De fraude kon dus plaatsvinden ondanks de knalharde scope van het journal.

Ik heb er al vaak op gewezen, maar u moet me toestaan dat ik mijn stokpaardje nog eens berijd. Fraude is van alle tijden, en komt in alle (!) vakgebieden voor. We moeten ons hoeden voor onfundeerde zelfverzekerdheid, die leidt tot passiviteit in de aanpak van fraude. Heel belangrijk hierbij zou een discussie over de praktijk van het blind-refereeing moeten zijn.

Om maar de knuppel in het hoenderhok te gooien: ik zou er geen moeite mee hebben als de auteurs van een artikel zouden horen dat ik hun referee ben, of dat zelfs mijn refereerapport met mijn naam zou worden gepubliceerd als bijlage achter de publicatie.

Geplaatst in Hall of shame, Reflectie | Tags: , | Een reactie plaatsen

Interview met Jelmer Renema in NRC

Op zaterdag 3 mei 2014 verscheen een interview met Jelmer Renema naar aanleiding van zijn stuk op activescience. Het interview werd gedaan door Margriet van der Heijden en verscheen in de wetenschapsbijlage van het NRC. Op dit artikel rust auteursrecht van NRC Handelsblad BV, respectievelijk van de oorspronkelijke auteur.

Op wetenschap is een lachspiegelmodel van de vrije markt losgelaten

Een tijdje geleden stuurde de Leidse natuurkundepromovendus Jelmer Renema met zijn begeleider een artikel naar Physical Review Letters (PRL). Ze hadden een heel stel metingen aan een materiaalmonster uitgevoerd en met grote nauwkeurigheid een effect gevonden. Na alle mitsen en maren te hebben afgewogen, waren ze ervan overtuigd dat het resultaat klopte en gepubliceerd kon worden.

Maar de referee van het degelijke, prestigieuze PRL was streng. Hij wilde pas publiceren als Renema en zijn begeleider de meting nog eens hadden overgedaan met een ander monster.

„Zo merkte ik plotseling hoe wetenschappelijke belangen en carrièrewensen door elkaar kunnen gaan lopen. Wat zou het voor mijn promotie betekenen als ik toch ineens een afwijkend resultaat vond?”

„Gelukkig klopte de tweede meting precies, maar het zette me aan het denken. Vond ik de twee metingen ook nog overeenstemmen bij een afwijking van 3 procent? Of 5 procent? 10 procent? Hoe had ik in zo’n geval gehandeld?”

Kortom, Renema is blij dat de wetenschappers van Science in Transition de discussie zijn aangegaan over die machtige en dolgedraaide carrousel van publiceren, citeren, carrière maken, publiceren, citeren enzovoorts.

Alleen: Science in Transition gaat niet ver genoeg, zo schreef hij vorige week in een blogpost.

De echte vraag is: waaróm draait het systeem dol? Vindt Renema, die behalve fysicus ook actief PvdA-lid is en mede daarom geïnteresseerd in wetenschapsbeleid. „Mijn antwoord daarop is dat op de wetenschap, net als op veel andere publieke diensten, een soort lachspiegelmodel van de vrije markt is losgelaten. Het idee is dat het beste resultaat vanzelf komt bovendrijven als je mensen in harde competitie de strijd om beschikbare middelen laat aangaan.” Met prijzen en privileges – geen onderwijsverplichting meer, bijvoorbeeld – wordt die competitie daarna verder aangewakkerd.

Maar Renema gelooft niet dat je zo het beste in mensen naar boven haalt. Hij ziet de frauderende bankier Bernie Madoff die op geld joeg, en de frauderende Diederik Stapel die aanzien nastreefde, als producten van op vergelijkbare manieren dolgedraaide systemen.

Het zijn systemen waarin het middel, vrije competitie, wel helder is gedefinieerd, maar het doel niet. „Dat is het probleem. Niemand – ook Science in Transition niet – vraagt: wat moet dat dan zijn, dat beste resultaat dat boven komt drijven? Waaraan moet het voldoen? Welke rol speelt wetenschap in de samenleving?”

Zolang Science in Transition die vragen niet stelt, en het de aannames van het systeem niet benoemt, maak het zichzelf kwetsbaar, vindt Renema. „Bestuurders zullen de kritiek aangrijpen om het dolgedraaide systeem in bedwang te houden met nog meer regeltjes en controlemechanismen.”

En de bureaucratie is al enorm. „Universiteitsbestuurders leggen al jaren alsmaar meer regels op. Stel bijvoorbeeld dat mijn begeleider, met een uitstekende naam, iets voor zijn lab wil aanschaffen. Dat kan alleen als hij eerst iemand anders vindt, verderop in de gang bijvoorbeeld, die wil bevestigen en tekenen dat hij zus-of-zo inderdaad nodig heeft en gaat kopen – zelfs al zijn het wat schroeven. Anders is het niet transparant, vinden de bestuurders.”

Die eindeloze controle werkt contraproductief, constateert Renema. „Het leidt tot cynisme. Tot een houding: als wij doen alsof we luisteren, dan kunnen zij doen alsof ze de baas zijn. Terwijl je eigenlijk samen zou willen nadenken over de vraag waarom wetenschap belangrijk is en hoe de wetenschap de maatschappij kan dienen.”

Dit is de zestiende aflevering van een interview-reeks over de toestand van de wetenschap. Reacties of ervaringen kunt u, eventueel vertrouwelijk, sturen naar: onrust@nrc.nl

LEES MEER

Uit nrc.next van 3 mei 2014

Uit NRC Handelsblad van 2 november 2013

Uit NRC Handelsblad van 9 november 2013

Uit NRC Handelsblad van 4 januari 2014

Uit NRC Handelsblad van 6 november 2013

toon meer gerelateerde artikelen

Geplaatst in Politiek correct, Reflectie | Een reactie plaatsen

Twee psychologen van de UvA moeten artikel terugtrekken

Een wetenschappelijk artikel van hoogleraar sociale psychologie Jens Förster van de Universiteit van Amsterdam (UvA) en zijn collega Markus Denzler moet worden teruggetrokken vanwege vermeende manipulatie met onderzoeksgegevens. In de data van Förster komen structuren voor die statistisch zeer onwaarschijnlijk zijn.

Het college van bestuur van de UvA heeft nog geen sanctie aan Förster opgelegd, die per 1 juni 2014 voor vijf jaar aangesteld zou worden aan de Ruhr-universiteit van Bochum als ‘Humboldt-professor’ met een beurs van 5 miljoen euro.

Hier de link naar het artikel in NRC.

Het interessante is dat Förster zich nu heeft geuit. Zijn reactie is integraal overgenomen op retractionwatch. Zijn claim is op zijn zachts gezegd spannend. Förster geeft toe dat de data statistisch onwaarschijnlijke structuren vertonen, maar ontkent dat hij enige datamanipulatie heeft uitgevoerd. Hij geeft toe dat hij de oorspronkelijke data heeft weggegooid, maar benadrukt dat hij dit pas deed na meer dan vijf jaar nadat zijn experiment was uitgevoerd, en na consultatie van “iemand met kennis van de archiveringswetten in Nederland.”

En Förster wijst op een simpel, zeer relevant, feit. Zijn experiment is gereproduceerd door anderen. Derhalve heeft zijn artikel haar waarde niet verloren, zo argumenteert hij. Ik denk dat dit een argument is waar juristen niets mee kunnen. Daarbij zet Förster nu -waarschijnlijk onbedoeld- de schijnwerpers op de onderzoekers die zijn experimenten reproduceerden. Hopen dat zij de data niet hebben weggegooid! Heel interessant om te zien waar dit naar toe gaat.

Geplaatst in Hall of shame, Reflectie | Tags: , , | 2 reacties

Science in Transition gaat niet ver genoeg

Gastbijdrage op persoonlijke titel van Jelmer Renema, fysicus. Jelmer is te vinden op twitter onder @Jelmer_Renema.

Iemand die het lukt om een aula vol wetenschappers te laten luisteren naar wetenschapsbeleid heeft zijn zaken goed voor elkaar: de meeste wetenschappers willen zo min mogelijk met het universitaire bestuur te maken hebben. De spreker, dekaan Miedema, stond voor een volle zaal omdat hij sprak namens Science in Transition, een werkgroep die de structurele problemen binnen de wetenschap wil aanpakken. Helaas bleef de discussie beperkt tot technocratische voorstellen, waardoor de rijkwijdte van de voorgestelde veranderingen nooit groot genoeg kan zijn om echt het verschil te maken.

De feiten die in het verhaal aangedragen werden waren schrikbarend: als we Miedema mogen geloven is de wetenschap door en door rot. In sommige vakgebieden bijvoorbeeld blijkt de overgrote meerderheid van het onderzoek niet reproduceerbaar te zijn – als je het nog een keer probeert komt er iets anders uit. Dat is niet alleen slecht voor de stand van de wetenschap, het kan ook direct levens kosten als het onderzoek bijvoorbeeld gaat over de bijwerkingen van een medicijn.

Diepe crisis

Miedema sprak over de dolgedraaide cyclus van publiceren en geld aanvragen: geld is nodig voor publicaties, en het succes van die publicaties zet zich weer om in geld, waardoor er weer gepubliceerd kan worden. Deze cyclus zorgt voor allerlei problemen. Iedereen die in de wetenschap actief is weet zal aan den lijve ervaren hebben dat deze manier van werken leidt tot onzinnig onderzoek dat alleen gedaan wordt om dat het aansluit op de laatste hype.

De crisis die Science in Transition aankaart, zit heel diep. Hij gaat over de vraag waarom we wetenschap doen, wie bepaalt welke wetenschap wel en niet gedaan wordt, en over hoe we mensen belonen voor hun werkt. Toch hield Miedema zijn betoog bewust klein. Hij hamerde erop dat hij slechts een beetje aan de knoppen wil draaien. Bijregelen, en ‘geen ideologie’ – in zijn woorden –, dat is het devies, en dat is precies de zwakte van het hele project.

Niet neutraal

Die zelfopgelegde oogkleppen van het pragmatisme beperken de reikwijdte van wat Science in Transition te melden heeft. Hetgene waar Science in Transition in feite campagne tegen voert wordt New Public Management genoemd, een manier van het organiseren van de (semi-)overheid die ingang vond in de jaren 80. In deze manier van denken ligt de nadruk op markt en competitie als mechanismes van toewijzing van schaarse goederen (in dit geval: onderzoeksgeld), en wordt er veel gebruik gemaakt van kwantitatieve sturing. De kernwoorden van NPM zijn precies de three M’s - Markets, Managers and Measurement – waar in de lezing kritiek op geleverd werd.

Het probleem is nu, dat deze managementfilosofie helemaal niet ideologisch neutraal is: hij hangt nauw samen met het neoliberalisme dat onze maatschappij zoveel ellende bezorgt. De hele manier waarop wetenschap georganiseerd is is een soort lachspiegel-versie van de vrije markt: als je gelooft dat concurrentie de enige functionerende organisatievorm is, en dat maatschappelijk belang niet legetiem is (immers: there is no such thing as society), dan is het logisch dat je vindt dat onderzoeksgroepen georganiseerd moeten worden als bedrijfjes, die concurreren om overheidsgeld. Wil je daar wat aan veranderen, dan zul je de aannames die er achter zitten ter discussie moeten stellen, en je niet alleen beperken tot het laten zien van de voorspelbaar desastreuze gevolgen.

De grenzen van technocratie

Doordat SiT zijn kritiek inkleedt in de technocratische taal van het ‘beetje bijsturen’ maakt het zich enorm kwetsbaar voor co-optatie door de mensen die het systeem willen houden zoals het is. Dat is nu ook al aan het gebeuren: Minister Bussemaker prees de SiT-ers als ‘competente rebellen’, die oog hebben voor het probleem van ‘een sector [die] erg bezig is te doen wat men zélf vooral belangrijk vindt’. Zo wordt de kritiek moeiteloos omgebogen naar implicite steun voor een verdere neoliberale machtsgreep in de vorm van het topsectorenbeleid.

De maatschappelijke keuzes die liggen achter de manier waarop wij wetenschap doen zijn ideologisch van aard, of SiT dat nou wil onderkennen of niet. Ze raken de verdeling van macht in onze maatschappij: wie bepaalt er, wie welk onderzoek mag doen? Dat is een essentieel politieke vraag, die je met technocratie niet oplost.

Ik had daarom zeer gemengde gevoelens bij de lezing van SiT. Enerzijds was ik blij dat mensen met invloed onafhankelijk de linkse waarheden aan het herontdekken zijn: dat het vrije-marktmodel perverse prikkels produceert als je het buiten het bedrijfsleven toepast, dat concurrentie slechts een van de drijfveren in de maatschappij moet zijn en niet de enige, en bovenal: dat in rationeel eigenbelang opererende individuen niet altijd in staat zijn om problemen van collectieve aard op te lossen. Tegelijkertijd is het jammer dat de analyse niet scherp genoeg is om echt wat te veranderen.

Geplaatst in Geen categorie | Een reactie plaatsen

De Arabist Jansen en de redelijke wereld

In 2011 werden bijna 6000 hoogleraren (gezien het grote aantal moeten dat ook emeriti zijn geweest) benaderd om mee te doen aan een enquête over religie en wetenschap. Het ging daarbij om de levensbeschouwing van de hoogleraren in het algemeen, en om de attitude van de hoogleraren jegens hoogleraren met een andere levensbeschouwing in het bijzonder.

De bevindingen zijn interessant en laten zien dat de levensbeschouwing van HLs nogal afwijkt van die van de gemiddelde Nederlander: Rapport_hoogleraren_2011. Het onderzoek werd in 2013 nog eens overgedaan gedaan: Rapport_hoogleraren_2013.

Terwijl ik de enquête invulde, betrapte ik me op een vooroordeel. Eigenlijk leek het me evident dat wetenschappers een positivistische houding zouden moeten hebben en dat een geloof in iets wat je niet zou kunnen meten een indicatie is voor verminderde geschiktheid als wetenschapper.

Gelukkig ben ik experimentator, en ik besloot me niet te laten leiden door mijn idee-fixes, maar door de wereld om mij heen. Ik heb toen een kladblok gepakt, en vier kwadranten getekend. Op de verticale as stonden “minder dan gemiddeld productief” en “bovengemiddeld productief” en op de horizontale as zette ik “niet gelovig” en “gelovig.” Ik maakte een lijst van wetenschappers die ik persoonlijk ken en waarvan ik de levensovertuiging weet. Deze wetenschappers rankte ik naar een algemene kwaliteitsindruk (input in discussies, experimentele flair, theoretische virtuositeit, het aantal boeiende papers dat geschreven werd, etc). In de lijst zaten net beginnende OiOs tot oudere wetenschappers. Voor de laatste categorie keek ik ook nog even naar de Hirsch factor, om mijn inschattingen te checken. Ik zat goed.

Daarna heb ik, op grond van mijn ranking, de 4 kwadranten gevuld met namen. Als snel kwam ik er achter dat mijn vooroordeel werkelijk kant nog wal raakte. Er was geen enkele correlatie tussen de levensovertuiging en de output of kwaliteit van de wetenschappers. Toen ik mij betrapte op mijn eigen vooroordeel (zo’n test is dan heel confronterend) voelde ik me flink in mijn hemd staan.

Ik moest daaraan denken, toen een paar dagen de Arabist Hans Jansen, een stukje schreef over religie en de relatie tussen opleiding en religieuze beleving. Jansen is emeritus hoogleraar sinds kort namens de PVV kandidaat voor het Europese parlement en columnist voor geenstijl. Ik weet geen fluit van religie, en religie boeit me ook echt niet, maar, gewaarschuwd door mijn eigen vooroordelen, las ik het stukje met enige aandacht.

Jansen sluit af met een paar statements (bold) die me triggerden: “Het christendom heeft een prachtig succes behaald: in de maatschappijen waar het domineert, of heeft gedomineerd, heeft het iedereen weten te overtuigen van de vanzelfsprekendheid van drie stellingen: ‘De schepper is redelijk en de schepping zit redelijk in elkaar.’ Zonder dat laatste geen wetenschap en techniek. ‘Behandel de mensen zoals je wilt dat zij jou behandelen.’ Zonder dat gebod geen democratie of rechtszekerheid, en geen vertrouwen in de handelspartners op de markt. ‘Fouten en schuld bekennen, daar knap je van op.’ Dat helpt te zoeken naar fouten van welke aard ook, en de verbeteringen aan te brengen die vooruitgang mogelijk maken.

Alleen erfgenamen van de Joods-Christelijke cultuur denken dat de voorafgaande drie stellingen vanzelfsprekend zijn. Buiten ‘onze’ cultuur worden deze drie opvattingen, waarvan de juistheid oncontroleerbaar is, niet gedeeld. Wie tot onze cultuur wil toetreden, zal die drie punten moeten aanvaarden. Hij hoeft niet te geloven dat Jezus over het water liep, hoe onschuldig dat geloof ook is. Dat bewaren we voor de godsdienstgekkies.”

Jansen zegt dus impliciet dat wetenschap en techniek zijn ontstaan door de culturele continuïteit van de Joods-Christelijke traditie en dat buiten die traditie rationaliteit en redelijkheid niet vanzelfsprekend zijn.

Om te beginnen is de notie dat de schepping redelijk in elkaar zit absoluut niet uniek voor de Joods Christelijke traditie. Veel wetenschap werd ontwikkeld in de oudheid (dwz. in de periode voordat er Überhaupt een christelijke traditie was ontstaan) en in gebieden die zich uitstrekken van China en India via het huidige Midden Oosten tot Europa (dwz gebieden waar nooit een christelijke tradiditie zou ontstaan). Veel van de wetenschap betrof astronomische observatie en modelvorming. Zeer nauwgezette observaties van planeetbanen werden gedaan. Dat heeft alleen zin als je er van overtuigd bent dat je –eventueel na een lange observatieperiode- regelmatigheden in de data zal aantreffen. Ook de wetenschappelijke arbeid van de Grieken was immens en had betrekking op planeten, sterren, warmte, licht tot en met directe metingen van de kromming van de aarde.  Ook in de Arabische wereld werd er ijverig aan wetenschap gedaan (laten we maar op het punt komen). Zeker tijdens de Islamic golden age (750 tot 1258) stortte men zich gretig op vertaalde teksten van Grieken, Persen en Indiërs, en werd er veel ontdekt. De kwantitatieve experimentele aanpak wordt toegeschreven aan Arabische wetenschapers. Daarnaast kennen we woorden als algebra, cijfer, (al)chemie: Dit zijn allemaal reflecties zijn van de activiteiten van Arabische wetenschappers.

En zo kan ik nog een tijd doorgaan om allemaal voorbeelden te geven van de overtuiging dat de wereld redelijk in elkaar die we delen met mensen die buiten de Joods Christelijke traditie staan.

Naast wetenschap is er de engineering. In engineering vormt de mens de wereld om zich heen. De grote culturen deden dat op grote schaal: Bouwwerken, irrigatiesystemen, wegen, bruggen, mijnen, havens, landbouw met bijbehorende logistiek om de opbrengst te transporteren naar technisch goed uitgeruste troepen. Allemaal activiteiten die alleen kunnen worden opgezet met behulp van modellen, ervaringen, common sense en de overtuiging dat de wereld redelijk in elkaar steekt.

Ik heb mijn vooroordelen aangepast in 2011. Kijken of Jansen dat ook doet. Dat zou ik nou redelijk vinden.

Geplaatst in Hall of shame, Politiek correct, Reflectie | Tags: , , , , , | 4 reacties

Analyse over attitutde van klimaatsceptici teruggetrokken

Zelfbenoemde strijders voor het vrije woord hebben weer eens een slachtoffer gemaakt.

Stephan Lewandowskay, hoogleraar in de psychologie deed een onderzoek naar de attitude van klimaatsceptici in het algemeen en hun attitude tot complottheorieën in het bijzonder. De bevindingen verbazen niet: het betreft aluhoedjes!

De bijdrage Recursive fury: Conspiracist ideation in the blogosphere in response to research on conspiracist ideation was oorspronkelijk gepubliceerd in Frontiers of Psychology, maar werd na intimidatie en druk op het journal teruggetrokken. Retraction watch geeft de chaotische gang van zaken weer. Arstechnica is ondubbelzinnig over de kwaliteit van de board van het journal. In het bijzonder de motivatie voor de retractie, door een jurist van het journal, geeft te denken:

In the light of a small number of complaints received following publication of the original research article cited above, Frontiers carried out a detailed investigation of the academic, ethical and legal aspects of the work. This investigation did not identify any issues with the academic and ethical aspects of the study. It did, however, determine that the legal context is insufficiently clear and therefore Frontiers wishes to retract the published article. The authors understand this decision, while they stand by their article and regret the limitations on academic freedom which can be caused by legal factors.

Lewandowskay staat nog pal achter zijn bevindingen, zoals hij uitlegt in dit filmpje. De bijdrage is nu integraal overgenomen op de website van de Australian Western University AWU.

Meer informatie vindt u hier:  http://www.iflscience.com/environment/conspiracy-theorists-get-paper-withdrawn-through-bogus-legal-threat#MfCWRwZSg4wtTypW.99

 

Geplaatst in Hall of shame, Politiek correct, Reflectie | Tags: , , , | 6 reacties

Real-time plasma position control with RT two-camera optical imaging sensor

In September and October 2013, I wrote three contributions on the steady progress of our Ph.D. Student Gillis Hommen, who was in the process of implementing a two camera Real Time optical imaging sensor for plasma boundary control on TCV.

It seemed like a fun idea to keep you up to date on the status and progress of the research, the concept, the implementation, the set-backs and the gradual improvements, and even used some of Gillis’e-mails to keep you up-to-date.

And then, suddenly, I did not report anymore. Did problems arise? Did the project fail? Quite the contrary: the results were fine, but I did not want to interfere with the publication process. Gillis directly wrote a publication that we submitted in February. We received favourable referee comments in March, and now the paper is accepted for publication in Nuclear Fusion .

One example of the experiments is shown in this youtube movie. The plasma is created and the X-point and strike-points are evolved until at t=0.45 s, the vision in loop system becomes active. Now, the plasma boundary is estimated in real-time from the optical images.  A controlled ramp-down of the plasma vertical position is carried-out, demonstrating the RT control capabilities of the system.

Geplaatst in Hall of fame, Innovatie | Tags: , , , , , , , | Een reactie plaatsen