In een eerdere bijdrage schreef ik al over David Salzberg, de hoogleraar van UCLA die verantwoordelijk is voor de fysica en de props in de big bang theory. Recent vond ik -per toeval- een youtube bijdrage over David, en daarna een link naar zijn blog: the big blog theory. Naast de fun-facts-’n-physics die je op zijn blog verwacht, is er een goede blog rol.
Have fun!
Thierry Baudet is zo tevreden met zijn academische status dat hij er een stukje over schreef. Zijn aspiraties en opleiding worden benadrukt en geroemd in tal van stukken, vaakvoordat hij zijn opinie mag geven. Een prachtvoorbeeld is het interview in HP de Tijd (15 februari 2013). Hierin positioneert interviewer de Jong Baudet als wonderkind, intellectueel, schaker, kunstenaar én achterkleinkind van een vermaarde hoogleraar wiskunde, kleinzoon van een hoogleraar geschiedenis en zoon van een historicus en pianist.
Het is alsof deze pedigree Baudet ontslaat van de plicht om een logisch consistent argument op te bouwen, en hij mag zonder enige motivatie tal van absurde uitspraken doen. Dat de oikofobische elite, met behulp van atonale muziek en multiculturele dogma’s, de westerse cultuur kapot maakt. Dat de PVV een avant-gardistische partij is. Dat Baudet nooit inhoudelijke heeft kritiek ontvangen op zijn boek en zijn stukjes in het NRC. Integendeel, dat er enkel stropoppen worden opgeknoopt. De Jong legt Baudet geen strobreed in de weg.
Maar is Baudet wel zo’n coherente denker? Laten we dan maar eens naar drie van zijn stukjes kijken…
In dit stukje over het klimaat schetst Baudet hoe Jan Terlouw ‘apocalyptische visioenen,’ beschrijft, om daarna te laten concluderen dat we ‘het allemaal niet zeker weten.’ Baudet stelt dat de verhaaltrend van Terlouw vaker wordt gevolgd door alarmisten:”Eerst een opsomming geven van de meest verschrikkelijke doemscenario’s; dan toegeven dat er wetenschappelijke twijfel bestaat; maar ten slotte oproepen tot het nemen van voorzorgsmaatregelen.” Dit is echt de grootste stropop die ik ooit gezien heb.
Ten eerste geeft Baudet niet de woorden van Terlouw weer, maar zijn eigen interpretatie daarvan. Ten tweede wordt het statement dat we ‘het allemaal niet zeker weten’ niet nader toegelicht. Wat weet Terlouw niet zeker? Heeft Terlouw het hier over het verschil tussen verwachtingswaarde en onzekerheidsmarge? Of over fundamentele onzekerheden in de fysische modellering? Baudet gaat er voor het gemak van uit dat het om het laatste gaat. Baudet maakt de vermeende positie van Terlouw -een politicus – representatief voor een heel wetenschappelijk veld. Dat is echt absurd! Zelfs als Terlouw de grootst mogelijke onzin had verkondigd, dan nog zou dat niet representatief zijn voor klimaatwetenschap.
Natuurlijk reageerde Terlouw. Boeiend is dat Terlouw beschrijft wat Baudet allemaal tijdens de bijeenkomst heeft beweerd: Dat hij niet gelooft in de klimaatcrisis. Dat er geen causale relatie is tussen CO2-concentratie in de atmosfeer en de temperatuur. Dat het IPCC (International Panel on Climat Change) van de VN een corrupte organisatie is… Dat zal verklaren waarom Baudet vindt dat hij niet hoeft in te gaan op de argumenten van de mensen die wel weten hoe het precies zit. Natuurlijk hebben enkele klimaatspecialisten gereageerd op het stukje.
Dan haalt Baudet het boek van Marcel Crok aan dat bekent staat om zijn bias en dist dan de standaard klimaatsceptische nonsens op. Statements die aantoonbaar onjuist zijn, en niets anders aantonen dan Baudets onbegrip. Baudet durft tenslotte ook nog zonder zware modellen te evalueren of statistische operaties uit te voeren uitspraken over risicomanagement te doen, maar verzuimt te verklaren waarom zijn uitspraken in tegenspraak zijn met de recente analyse van verzekeraar Munich Re.
In dit stukje brengt Baudet Popper in stelling om aan te tonen dat de voorvechters van een verenigd Europa niet werken volgens het rationele principe van de falsificatie. Popper stelde falsificeerbaarheid voor als eis aan wetenschappelijke en politieke theorieën. Hij wees teleologische politieke visies, zoals het Marxisme, af. Het idee dat Baudet voor het voetlicht wil brengen is duidelijk: de pro-Europa beweging is niet rationeel, en neigt naar een Closed Society. Wat je ook van Europa vindt, dit stukje is om drie redenen slaapverwekkend.
Ten eerste had de wetenschapshistoricus Kuhn al laten zien dat een falsificatie niet direct leidt tot verwerping van de theorie, en dat voor een paradigmaverandering nog veel werk nodig is. Dat ambtenaren niet volgens de idealen van Popper werken mag dan geen verrassing meer zijn.
Ten tweede maakt Baudet een voorselectie: hij begint zijn ‘analyse’ bij de pro-EU lobby. Waarom juist die? Doet de pro EU beweging het slechter dan andere bewegingen? Als het antwoord daar positief op is, dan moet Baudet dat aantonen. En als het antwoord daar negatief op zou zijn, dan is Baudets analyse zinledig en biased.
Ten derde geeft Baudet de slechtste omschrijving van Poppers falsificatietheorie die ik ooit gelezen heb:”Wat zou iemand moeten aantonen, of wat zou er moeten gebeuren, om u van uw overtuiging af te brengen?”
Poppers falsificatie theorie begint met de notie dat inductie, het verwerven van objectieve kennis uit experimentele waarnemingen, onmogelijk is. De ontwikkeling van kennis speelt zich af op het raakvlak van de theorie en de empirie. Een theorie genereert voorspelingen die experimenteel getoetst kunnen worden. Popper laat zien dat verificatie van een theorie logisch onmogelijk is, maar dat de falsificatie van een theorie tot de logische mogelijkheden behoort. Er rest, volgens Popper, de arme wetenschapper niets anders dan zijn theorie als hypothese te beschouwen totdat een voorspelling niet uitkomt, en de theorie gefalsificeerd is. Waarom denkt u dat ik u lastig val met deze paragraaf over Popper?
Baudets stukje ‘Generaliseren over de islam’ deed veel stof opwaaien. Baudet presenteert hierin zijn mening over de koran, Mohamed en Jesus als waarnemingen die ‘gegeneraliseerd’ kunnen worden. Generaliseren, zo stelt Baudet, is een algemeen toegepaste methode in de wetenschap. Waarom kunnen we niet generaliseren over de Islam? vraagt Baudet zich af. Inhoudelijk is dit stukje al gekraakt door Hulspas en Özdil. Ik ga hun argumenten niet herhalen. Hulspas wees Baudet erop dat hij het verschil niet weet tussen generalisatie en inductie. Generalisatie is niet het veralgemeniseren van een aantal observaties, maar het vergroten van de reikwijdte een theorie. Bij generalisatie ontstaan nieuwe effecten, die met inductie nooit gevonden zouden kunnen worden.
Zoals ik boven aangaf: Popper introduceerde de falsificatietheorie nu juist om het inductieprobleem op te lossen.
Het heeft iets triest. Baudet wordt gepositioneerd als een conservatieve intellectueel, en mag daarna overal zijn mening verkondigen. Hij hoeft zich niet aan de feiten te houden en consistentie in zijn denken wordt niet geëist. Baudet moet een kunstje doen: suggereren dat er een intellectuele motivatie is voor abject gedachtegoed. Daarbij vergaloppeert hij zich continu: In het ene stukje maakt hij zich druk over ambtenaren die niet volgens de idealen van de falsificeerbaarheid werken, en in een ander stuk beweert hij dat uit observaties algemene conclusies kunnen worden getrokken. Dat is intellectueel onverenigbaar. Hij doet uitlatingen over een vakgebied waar hij niets van weet, zonder de specialisten te raadplegen. Hij maakt de specialisten verdacht.
Als er geen feiten zijn, verzint Baudet ze, als hij ‘feiten’ heeft verzonnen, dan ‘generaliseert’ hij ze, en als er wel feiten zijn, ontkent hij ze.
Het zou goed zijn als Baudet net zo kritisch naar zijn eigen werk zou kijken als naar het werk van anderen.
Een X-rated versie van dit stuk verscheen hier, ter ere van de herstart van Frontaalnaakt.
Je leest vaak dat wetenschappelijke tijdschriften een ‘positive result bias’ hebben. De tijdschriften zijn, zo blijkt, eerder geneigd om manuscripten over experimenten met een positief resultaat te accepteren dan manuscripten waarin een negatief resultaat wordt gerapporteerd. Dat is zeer slecht voor de accumulatie van kennis, en een van (er zijn er veel meer) de drivers om open access wetenschap te gaan bedrijven.
Mijn stelling van de dag is: in de dagelijkse pers is het tegengestelde het geval. Er heerst in de dagelijkse pers een negativity bias.
Daar bedoel ik mee dat klote wetenschap, blunders en fraude langer en veel meer aandacht krijgen dan prachtresultaten. Ik ga dat niet uitvoerig uitzoeken, dat kan ook helemaal niet (want ik heb geen maat voor kloterigheid en prachtigheid), maar ik wil u wel de volgende overweging over de extremen meegeven….
Poldermans en Stapel zijn de grootste fraudeurs uit de geschiedenis van de Nederlandse wetenschap. De ontdekking van het Higgs boson en het Majorana deeltje zijn de mooiste resultaten van de natuurkunde van het afgelopen jaar, zo mooi zijn dat velen (waaronder ik zelf) ze Nobelprijswaardig achten. We hebben het dus echt over de grootste en mooiste fysische ontdekkingen van 2012.
Op LexisNexis zocht ik binnen Nederlandse kranten naar naar het aantal hits voor Diederik Stapel, Don Poldermans, het Higgs boson en het Majorana deeltje. De resultaten zijn:
Diederik Stapel: 2462
Higgs deeltje: 272
Don Poldermans: 239
Majorana deeltje: 67
(Stapel + Poldermans) / (Higgs en Majorana) = 2701/339 = 8
Ongetwijfeld was mijn search niet volledig. Ongetwijfeld kun je alle getallen wat groter maken, waardoor de verhouding wat kleiner wordt. Maar met al deze caveats op een stokje, blijft het beeld helder: De dagelijkse pers schrijft ongeveer 8 keer zo graag over extreme fraudeurs dan over prachtresultaten.
De impact hiervan op de algemene waardering van wetenschap is niet te onderschatten, zo lijkt me.
Gastblog van Hans Custers
In zijn stukje van afgelopen donderdag haalt Hans Labohm een oude klimaatsceptische koe uit de sloot: de tropische hotspot. Of eigenlijk: de vermeende afwezigheid ervan. Hij wekt de suggestie dat die hotspot samen zou moeten hangen met de opwarming door het versterkte broeikaseffect, maar dat is onjuist. De hotspot wordt verwacht als gevolg van opwarming aan het aardoppervlak, ongeacht de oorzaak; dit wordt erkend door diverse klimaatsceptici, zoals…
De ‘Society for Personality and Social Psychology’ heeft onderzocht wat de invloed is van de Stapel-fraude op de houding, het gedrag en de perceptie van haar leden ten opzichte van hun vak en hun collega’s. Het onderzoek was ook opgezet om te achterhalen wat het gevolg is van de fraude op de reputatie van de sociale psychologie en sociale psychologen in het algemeen, en voor Stapels co-auteurs in het bijzonder.
De uitgewerkte onderzoeksdata zijn boeiend. Zo is de ‘gemiddelde respondent’ er sterk van overtuigd dat het systeem (omschreven als “how things generally work in this field”) fraude in de hand werkt. Ik ben heel benieuwd welke elementen in het systeem door de respondenten zo’n grote rol toegekend krijgen. Ook denkt de gemiddelde respondent dat het zeer waarschijnlijk is dat fraude vaker voorkomt, en worden de conclusies van de commissie Levelt onderschreven.
In tegenstelling tot wat vaak wordt gesuggereerd is het wetenschapsbedrijf sterk output-georiënteerd. Wetenschappers worden knalhard afgerekend op hun output, die vaak gelijkgesteld wordt aan de publicaties die hij / zij in peer-reviewed journals weet te plaatsen. Het aantal citaties dat deze papers krijgen, wordt gebruikt als indicators voor het belang van de papers.
Vaak wordt dan gekeken naar de Hirsch index. Hoe gaat dat? Alle papers (co-auteurschappen tellen mee) van een individuele wetenschapper worden gerankt naar citaties, met het hoogste aantal citaties eerst, op nummer 1, het tweede aantal citaties op nummer 2 enzovoort. Met andere woorden: het aantal citaties neemt af met het oplopende nummer. Op een bepaald moment kruist het nummer de citaties. Het nummer waarbij dat plaatsvindt, is je Hirsh index.
Er is op deze methode nogal wat af te dingen. Om te beginnen is de Hirsh index een oudemannenindex: hoe ouder je wordt je verder je Hirsch index stijgt. Verzadiging treedt pas op als de wetenschapper ongeveer 50 is. Je kunt dus geen wetenschappers van verschillende leeftijd vergelijken op grond van deze index. Daarnaast is een kernpunt bij alle bibliografische onderzoeken dat per vakgebied de citatiecultuur en de teamgrootte verschillen. Dat kan zelfs binnen vakgebieden aanzienlijk verschillen. Berucht zijn de big science bijdragen met 8 of meer co-auteurs. Mijn record is een paper waarop ik een van de meer dan 80 co-auteurs ben. Een ander notoir probleem betreft de zelfcitaties. Het simpelweg meetellen van zelfcitaties geeft een positieve bias voor wetenschappers die ‘overdreven graag’ naar hun eigen werk of dat van hun collega’s verwijzen, het volledig uitsluiten van zelfcitaties leidt tot bizarre situaties. Er zijn veel papers in de big science met coauteurs van verschillende laboratoria. Het uitsluiten van zelfcitaties zou betekenen dat deze bijdragen niet meetellen. Naast de Hirsch index zijn er alternatieven analyse methodes, maar uiteindelijk draait het om papers en citaties.
Maar is dat de enige output die een wetenschapper heeft? En beperken we in onze analyses niet tot die parameters die makkelijk meetbaar zijn, terwijl we zouden moeten proberen juist de moeilijk te meten performance indicatoren te meten? Laat ik een voorbeeld geven: mijzelf. Mijn Hirsch index bedraagt 25. En, zegt dat wat? Ik vind van niet.
Ik ben in 1999 gepromoveerd. Tot 2004 was ik als wetenschapper actief in verschillende grote teams. Van 2004-2006 had ik een zware operationele management taak. Ik moest er voor zorgen dat de JET plant beschikbaar was voor experimenten. Met andere woorden, ik werkte van 2004 tot 2007 niet als wetenschapper, maar deed werk dat wetenschap mogelijk maakt, en meer dan 200 andere wetenschappers in staat stelt om hun werk te doen. In 2007 ben ik teruggehaald naar Nederland om twee teams te leiden. Beide teams hadden op dat moment problemen –van zeer verschillende aard- en het eerste jaar ben ik alleen maar bezig geweest met het herdefiniëren van het takenpakket, het opleiden van het team, het stellen van kwaliteitseisen, het leggen van contacten met het bedrijfsleven, allemaal managementtaken die de twee teams weer op de rails moesten zetten. Dat heeft succes gehad, en vanaf 2009 draaien we weer op niveau.
Laten we een kijken hoe dat uitpakt voor mijn publicaties:
Publicaties van Marco de Baar. Let op het effect van managementtaken (2004, 2005, 2006) en het reorganiseren van twee teams (2007-2008) op mijn output
Van 2000 tot 2004 zie je mijn centrale rol in het grote internationale team terug. Door mijn rol, ben ik in staat om veel co-auteurschappen te scoren. Dit leidt tot 15 publicaties per jaar 2004 en 2005 (Van experimenten die zijn uitgevoerd in 2003). In de periode van 2004 tot en met 2008 is een dramatische afname van mijn publicaties te zien. Ik schakelde over naar een managementrol, met als all-time low 2 reviewed publicaties in 2008. Ik heb in die periode natuurlijk veel geproduceerd, maar dat valt allemaal achter de horizon van de publicatiemetingen.
En hoe zit het met mijn citaties?
Hoewel citaties het efect hebben om uitgesmeerd te worden over jaren, is het effect van mijn managementtaken duidelijk: er is een dip in de citaties te zien!
Citaties Marco de Baar. Zelfs in de citaties (!) is een dip te herkennen ten gevolge van managementtaken. Maar 2012 laat zien waarvoor we het gedaan hebben!
Ik heb hierboven alleen gehad over management taken, maar academen doen naast onderzoek en management nog veel meer. Onderwijs is natuurlijk ook verschrikkelijk belangrijk, en dat komt niet terug in de bibliometrische analyses. Outreach is ook belangrijk. En zo kan ik nog wel even doorgaan. Er zijn gewoon belangrijke taken voor wetenschappers, die niet leiden tot publicaties. De wetenschappers die deze taken aannemen, zien hun activiteit negatief (!) correleren met de het aantal publicaties en citaties. Deze indicatoren zijn dan een slecht instrument om de output van de wetenschappers te meten.
Vaak worden de bibliometrische gegevens gebruikt om de potentie van een individuele wetenschapper te schatten. Ik hoop dat het bovenstaande overtuigend heeft aangetoond dat er periodes van verminderde output in papers kunnen zijn, die niet representatief zijn voor het outputgenererende vermogen.
Het is daarom ook heel goed dat er bij individuele voorstellen die in competitie worden ingediend, en waar er gezocht wordt naar persoonlijke excellentie, deze periodes in acht worden genomen. Dit is bijzonder relevant voor vrouwelijke wetenschappers die een paar jaar aan zorgtaken hebben besteed. Willen we excellente vrouwen voor de organisatie behouden, dan moeten we deze periodes verdisconteren, anders verliezen we talent.
Met dank aan Wendy Geerts!
Op 29 augustus, 2012 vond in de Balie het symposium ‘Immi-gratis’ plaats. Sprekers waren o.m. Joost Niemöller (schrijver van ‘het immigratietaboe’, commentator voor NTR- en NCRV-radio en blogger bij De Dagelijkse Standaard), Leo Lucassen (hoogleraar sociale geschiedenis aan de Universiteit Leiden en schrijver van het boek Winnaar en verliezers. Een nuchtere balans van vijfhonderd jaar immigratie), Paul Scheffer (publicist van ondermeer ‘Het land van Aankomst’, en hoogleraar aan de Universiteit Tilburg), Hans Roodenburg (voormalig hoofdonderzoeker van het CPB), en professor Jaap Dronkers, Universiteit Maastricht.
Ik had net ‘het immigratietaboe’ van Joost Niemöller gelezen, en (na jaren in de UK te hebben gewoond, kan ik het understaten niet laten) daar had ik wel enige kritiek op. Het leek me relevant om naar de Balie te gaan, en om Niemöller te confronteren met mijn vragen en kritiek.
De avond in de Balie was voor mij een confronterende ervaring. Ik heb Nederland verlaten in 1999. Natuurlijk wist ik dat immigratie belangrijk wordt gevonden in Nederland, en dat het debat daarover hard wordt gevoerd. Maar zelfs met die voorkennis, ervoer ik de sfeer in de Balie als grimmig. Het publiek had een duidelijke voorstelling van wat de uitkomst van het debat moest zijn (immigratie is slecht, de multi-culturele samenleving is mislukt), en had geen behoefte aan feiten die deze positie zouden ontkrachten, of enige nuancering. Ik ga hier geen verslag doen van het debat, dat is elders al gedaan, maar ik wil hier twee contrasten belichten.
Een van de punten die Niemöller wil maken is dat bepaalde migrantengroepen een laag IQ hebben. Dit zou zich vertalen in hun participatie op de arbeidsmarkt, en daarmee hun integratie bemoeilijken. Door grote immigratiestromen toe te laten, zo vindt Niemöller, brengen we de kenniseconomie onder druk. Leo Lucassen nuanceert dit beeld, en stelt dat kennisimmigratie essentieel is voor high-tech bedrijven als Phillips en ASML. Dit argument wordt niet heel erg boeiend gevonden door de andere panelleden, zo lijkt het. Ze gaan er niet op in.
Veel belangrijker vinden de andere panelleden, althans zo lijkt het, te benoemen wat er allemaal mis gaat. Daarbij worden met grote stelligheid claims gemaakt. Het viel me op dat vaak morele en normatieve overwegingen werden gemengd met statistische uitspraken. De data en de analysemethodes werden niet besproken, laat staan hoe ferm de conclusies zijn. Interpretaties van de statistieken werden daarmee tot feiten gepromoveerd. Ook werd nooit over de tijdsontwikkeling van de statistieken gesproken. Uitspraken worden gedaan van het type: zoveel procent doet dit, verdient dat, kost zoveel en denkt zus of zo. Momentopnamen van de statistieken werden daarmee tot onveranderlijke feiten gepromoveerd.
Maar juist de tijdsevolutie van statistieken toont de respons van het systeem op beleidsmaatregelen. Hebben die het gewenste effect? Op welke tijdschaal we succes mogen verwachten? Hans Rosling toont in deze vermaarde TED talk hoe statistische data gevisualiseerd kunnen worden, hoe tijdsevoluties gevolgd kunnen worden, en hoe rijk en gevarieerd statistische data kunnen zijn. Must see!
Na afloop van het debat heb ik Paul Scheffers aangesproken, met wat vragen over zijn data-analyse. In het bijzonder wilde ik hem suggereren ook de dynamica te beschouwen. Scheffers gaf niet de indruk dat hij veel zin had in mijn vragen. Zijn eerste antwoord was dat zijn datasets tijdsreeksen zijn. Ik drong een beetje aan, maar na drie van mijn pogingen, gaf Scheffers aan dat hij liever een biertje ging drinken.
Met het stuur in de handen geknepen reed ik ‘s avonds naar huis. Al 18 jaar ben ik als wetenschapper werkzaam, en ik heb werkelijk van mijn leven niet zo’n aanfluiting gezien.
De volgende dag zat ik in een afstudeercommissie van Systems and Control en Automotive van de TU/e. 18 studenten studeerden af: Pablo Puente Guillen, Juan Carlos Sanchez Garcia, René J.T.G.Thijssen, Lichao Pan, Yasemin Vardar, Juan Camilo Pérez Munoz, John H. Baten, SergiyV.Sonin, HaixuWang, Handian Chen, Sultan Imangaliyev, Edwin Giovanni Insuasty Moreno, Faran Ahmed Qureshi, Muhammad Mohsin Siraj, Maarten M. van Stuijvenberg, (Jose de Jesus) J.D.J.Barradas Berglind, (Enrique Silvio) Estens Musa en Guido Lijster. De meeste van deze studenten hebben gewerkt aan dynamische modellen van hun systemen, om die daarna in te zetten om geavanceerde controle systemen te ontwerpen en te optimaliseren.
Zoals u uit de namen kunt afleiden, zijn 14 van de 18 studenten geen Nederlander. Ze komen uit landen als Pakistan, Mexico, China of Columbia naar Eindhoven om hier af te studeren. Veruit de meesten blijven daarna hier om te werken of te promoveren. Ze gaan dan aan de slag bij DAF, ASML of OCE, of in een van de vele high tech bedrijven rond Eindhoven, of doen aan de TU/e een promotieproject in directe samenwerking met deze bedrijven.
I rest my case. De avond in de Balie heeft een belangrijk aspect van immigratie over het hoofd gezien, ondanks dat Leo Lucassen dat probeerde in te brengen. Immigratie van high potentials is verschrikkelijk belangrijk voor de innovatieve kracht van het Nederlandse bedrijfsleven.
Tenslotte vindt u hier een filmpje waarin Lucassen de opkomst van het populisme in Nederland en het immigratiediscours uitlegt in Oxford. Vanaf 20 minuten toont en duidt hij data die (wederom understating) de populistische retoriek niet heel erg goed ondersteunt. Ik probeer het nog een keer: Wellicht zou het interessant zijn om de immigratiedata met de software van Rosling te analyseren.
Marco de Baar