Schort er iets aan de wetenschap?

De befaamde Leuvense oncoloog Stefaan Van Gool is van zijn voetstuk getuimeld. Een onderzoekscommissie van de KU Leuven had twee jaar geleden al vastgesteld dat zijn onderzoek naar tumorvaccins een puinhoop was, zowel op wetenschappelijk als op ethisch vlak. Maar de universiteit wou de onfrisse zaak liever discreet afhandelen: het potje werd luchtdicht afgesloten met een zwijgclausule in de ontslagregeling, alle mooie woorden van de rector over “integriteit” en “transparantie” ten spijt.

Een journaliste bij De Standaard, Maxie Eckert, kwam deze onwelriekende geuren echter op het spoor. In een puik staaltje onderzoeksjournalistiek samen met Mark Eeckhaut reconstrueerde zij welke zware fouten Van Gool had gemaakt: experimentele onderzoeken zonder goedkeuring van de ethische commissie en het geneesmiddelenagentschap, onvindbare ‘informed consent’-formulieren van de patiënten, verzuim van melding van ernstige complicaties, en slordige onderzoeksmethodes allerhande.

Op dit moment is het hoogst twijfelachtig of de tumorvaccins, door Stefaan Van Gool jarenlang bejubeld als wondermiddel, daadwerkelijk effectief zijn om kanker te bestrijden. Door de ethische en wetenschappelijke fouten die Van Gool maakte, zijn er miljoenen aan onderzoeksgeld verkwanseld. Wetenschappelijk valt er immers niets mee aan te vangen. Het is niet de eerste keer dat een topwetenschapper van zijn voetstuk tuimelt, of dat een wetenschappelijke hype naderhand een luchtspiegeling blijkt. Dat noopt tot een gewetensonderzoek: hoe is het mogelijk dat een wetenschapper in de verleiding komt om de regels aan zijn laars te lappen, en hoe kan dat zo lang verborgen blijven? Is dit een probleem van enkele rotte appels, of schort er iets aan wetenschap zelf?

De fysicus Richard Feynman zei ooit: “De eerste stelregel is dat je jezelf niet voor de gek mag houden – en niemand is makkelijker voor de gek te houden dan jijzelf.” Wetenschap is een voortbrengsel van menselijke breinen, en menselijke breinen zijn feilbaar. Evolutie heeft ze ontworpen – zo weten we dankzij wetenschap zelf – om praktische problemen in onze onmiddellijke ecologische omgeving op te lossen, niet om de raadselen van de kosmos te ontsluieren.

Een van de belangrijkste eigenaardigheden van ons ken­apparaat, waarover bergen literatuur bestaat, is het zogenaamde bevestigingsvooroordeel, tegenwoordig soms ook de myside bias genoemd. Dat is onze neiging om te zoeken naar informatie die bevestigt wat we daarvoor al geloofden. Dat bevestigingsvooroordeel doet zich voor op elk niveau van informatieverwerking. Het begint al bij onze zintuigen: die besteden vooral aandacht aan prikkels die overeenstemmen met wat we verwachten. Hogerop in ons brein worden die zintuiglijke prikkels gekneed en vervormd en gekaderd op een manier die zoveel mogelijk aansluit bij de overtuigingen die we al hadden. En ook ons geheugen heeft er last van: we herinneren ons vooral datgene wat bij onze opvattingen aansluit.

Dat mensen allerlei vooroordelen koesteren, tot daar aan toe. Maar moeten wetenschappers niet op een neutrale en onbevangen wijze naar de wereld kijken, zonder last van enige vooroordelen? Moeten ze niet eerst observaties doen, om pas daarna te zien welke conclusies eruit te trekken vallen? Nee. Niet alleen is dat een onhaalbaar ideaalbeeld van wetenschap, eigenlijk is het ook niet wenselijk. Een wetenschapper tast niet zomaar wat in het duister. Bijna altijd weet hij waarnaar hij op zoek is. Hij heeft een vermoeden, een hypothese die hij wil onderzoeken, een idee dat hij graag bevestigd wil zien. Als dat niet lukt, zal hij ontgoocheld zijn. Niets menselijks is wetenschappers vreemd. Zomaar in het wilde weg waarnemingen doen, is tijdverspilling. Dan kun je beter kroonkurkjes verzamelen. Een goede wetenschapper moet al bepaalde vooroordelen hebben, voor hij aan de slag gaat. Anders weet hij niet waar hij moet zoeken.

Dat geldt niet enkel wanneer er commerciële belangen mee gemoeid zijn. Een farmaceutisch bedrijf wil natuurlijk graag dat de medicijnen die het ontwikkelt, effectief blijken. Anders had het geen miljoenen geïnvesteerd in de ontwikkeling ervan. Maar ook een bioloog of socioloog, die gewoon fundamentele kennis wil vergaren, is aan dat bevestigingsvooroordeel onderhevig. Als wetenschapper wil je graag je vermoedens bevestigd zien, anders blijkt dat je je tijd hebt verspild. Soms is je naam verbonden aan een bepaalde theorie, en soms hangt je hele wetenschappelijke faam ervan af. Je hebt ingezet op een idee, een hypothese, een vermoeden, en je hoopt vurig dat het universum je gelijk zal geven.

Dat geldt in het bijzonder in de medische wereld. Stel dat je als arts kinderen met levens­bedreigende tumoren behandelt. De wanhopige ouders zien in jou (de arts) hun enige redding. Stel dat je op een bepaald moment vroege signalen opvangt dat een experimentele behandeling vruchten zou afwerpen. Zou je dan niet heel, heel graag je vermoeden bevestigd zien?

Daarbij komt dat moderne wetenschap draait om het onooglijke, subtiele en niet voor de hand liggende. De kennis over de wereld die zomaar voor het grijpen ligt voor het menselijke brein, hebben we allang verworven, vaak zonder wetenschappelijk vernuft. In het Engels noemt men dat het ‘laaghangend fruit’. Dat kun je zomaar plukken, zonder ladder of andere hulpmiddelen. Maar moderne wetenschap gaat over wat zich afspeelt op microscopische schaal, of miljarden kilometers hier vandaan, of in een ver vervlogen verleden, of over heel subtiele statistische verschillen. 

Dat hooghangend fruit is slechts bereikbaar met vernuftige hulpmiddelen, zowel in de vorm van instrumenten (telescopen, NMR-scanners, radars) als formele hulpstukken (statistiek, computermodellen). Daarover kennis verwerven, is bijzonderlijk moeilijk. Je moet langdurige observaties doen, bij grote groepen, of zeer kleine verschillen meten tussen twee dingen. In die marge van onzekerheid en ambiguïteit sluipt ons bevestigingsvooroordeel. Het licht van de zon zullen mensen niet licht loochenen. Het is er of het is er niet. Maar een onooglijk lichtpuntje op de NMR-scanner?

In zijn autobiografie schreef Charles Darwin dat hij er een vaste gewoonte van maakte om, telkens als hij iets waarnam dat schijnbaar indruiste tegen zijn hypothesen van het moment, onmiddellijk naar een potlood te grijpen en het in zijn notitieboekje te schrijven. De ervaring had geleerd dat, als hij dat naliet, hij die vervelende waarnemingen onwillekeurig ‘vergat’. De zaken die zijn theorie bevestigden, hoefde hij niet neer te schrijven. Die onthield hij wel vanzelf. De ‘gouden regel’ van Darwin, zoals hij hem noemde, toont aan dat wetenschappers tot op zekere hoogte zelf hun bevestigingsvooroordeel kunnen ondervangen. Als je weet wat de valkuilen van je brein zijn, dan zul je er minder snel in trappen. Toch kruipt het bloed waar het niet gaan kan. De effecten van het bevestigingsvooroordeel zijn zo subtiel en veelzijdig, dat het bijna onmogelijk is om er op eigen houtje aan te ontsnappen. En je kunt er niet zomaar op vertrouwen dat iedereen zo nauwgezet is als Darwin. Voor je het weet, ben je jezelf voor de gek aan het houden.

Daarom hebben wetenschappers allerlei slimme methodes en procedures ontwikkeld waarmee we ons eigen brein de pas afsnijden. Om de wereld te leren kennen moet je vooral jezelf kennen. De belangrijkste remedie die de wetenschap gebruikt tegen het bevestigingsvooroordeel van ons brein is: gebruik meer breinen. Laat elk brein desnoods wat doordraven in zijn eigen bevestigingsvooroordeel, maar laat ze vervolgens elkaar controleren. Daarom is wetenschap een bij uitstek sociaal project. Een afzonderlijk brein valt niet te vertrouwen. 

elfs Darwin vertrouwde in grote mate op observaties van zijn collega’s, en op die van fokkers en telers. En zijn bevindingen werden slechts ‘wetenschappelijk’ op het moment dat ze door zijn collega’s kritisch werden geëvalueerd. Daarnaast kent wetenschap een hele resem trucjes die moeten vermijden dat we onze wensen voor waar aannemen: blindering van datavergaring en analyse, objectieve meet­apparatuur, gestandaardiseerde concepten, harde statistiek, anonieme collegiale toetsing.

De natuur is toch onverbiddelijk en geeft geen ene moer om wat wij wensen. Als iets niet klopt, dan zal dat vroeg of laat blijken. Als je je laat meeslepen door wat je zelf wenst, kom je vroeg of laat toch onzacht in aanvaring met de werkelijkheid.

‘Fraude’ is een zware term. Dan denken we aan iemand die moedwillig data vervalst, of experimenten beschrijft die hij nooit heeft uitgevoerd. Fraudeurs zoals Stefaan Van Gool worden vaak gedreven door een extreme vorm van het bevestigingsvooroordeel: je wil zo graag bewijzen dat je gelijk hebt, en je bent zo sterk overtuigd van je eigen waarnemingen, dat je de procedures aan je laars lapt. Leugentjes om bestwil, ter wille van de zieke kinderen.

Aangezien wetenschap een sociale onderneming is, deels gestoeld op vertrouwen, kan het lang duren vooraleer fraude aan het licht komt. (Er zijn zware gevallen bekend van filosofen die gedachte-experimenten nooit hebben uitgevoerd). Een beoordelaar bij een wetenschappelijk tijdschrift kan nagaan of iemand data verkeerd heeft geanalyseerd, of denkfouten heeft gemaakt, maar hij moet er tot nader order wel van uitgaan dat de beschreven experimenten daadwerkelijk zijn uitgevoerd. Iemand die gewoon data uit zijn duim zuigt, is moeilijk te ontmaskeren.

De meeste wetenschappers zijn echter te goeder trouw – net zoals de meeste mensen in het algemeen – en de weinige regelrechte fraudeurs vallen vroeg of laat door de mand. De meesten worden naderhand overmoedig en gaan steeds driester te werk, zoals de Nederlandse sociaal psycholoog Diederik Stapel, waardoor ze hun eigen put graven. 

Maar naast regelrechte fraude is er ook een grote schemerzone van dubieuze wetenschappelijke praktijken. Grijstinten van wanwetenschap. Die zijn subtieler en wijder verspreid, omdat je er geen slechte bedoelingen voor nodig hebt. Wetenschapsfilosofen spreken over het ‘masseren’ van data. In plaats van data te vervalsen, ga je ze net zo lang kneden tot ze mals en hapklaar zijn voor publicatie. Je voert wat extra statistische analyses uit, je snoeit een beetje in de data, je gooit er wat lastige dingetjes uit die niet in je kraam passen, je herhaalt een experiment dat tegenvalt. Natuurlijk heb je voor al die kunstgreepjes valabele excuses. Ons brein is bijzonder bedreven in het bedenken van rationalisaties die ons schikken, en om ons geweten te sussen. Een minder zachte metafoor spreekt over ‘foltering’ van data: je legt de data net zo lang op de pijnbank tot ze bekennen wat je graag wil horen.

In de psychologie breekt men zich vandaag het hoofd over een heuse ‘replicatie­crisis’. Een hele resem klassieke experimenten, die honderden malen geciteerd werden en in handboeken overgenomen, blijken niet repliceerbaar. Dat wil zeggen dat, als je het experiment precies herhaalt zoals het oorspronkelijk werd uitgevoerd, je niet langer het verhoopte effect vindt, of enkel een sterk verminderd effect. Psychologen spreken zelfs over een ‘neergangseffect’: naarmate je een experiment vaker herhaalt, verdwijnt het effect als sneeuw voor de zon. Alsof het universum ons voor de gek wil houden! 

Maar dat kan natuurlijk niet: het universum speelt geen spelletjes met ons. We houden onszelf voor de gek. De discussie woedt nog over de oorzaken van die crisis, en over de vraag hoe wijdverbreid ze is. Eén diagnose luidt dat het wetenschapsbedrijf zelf de verkeerde ‘incentives’ (drijfveren) creëert, die het neergangseffect in de hand werken: tijdschriften willen vooral graag artikelen die iets bevestigen, die een positief resultaat laten zien. Bij een studie die geen effect laat zien – een nulresultaat in het jargon – haalt iedereen de schouders op. En wanneer een poging mislukt om een experiment te herhalen, dan denken redacteurs en lezers al gauw: “Ze zullen het wel verkeerd gedaan hebben zeker?” Het lijkt bijna op institutionalisering van het bevestigingsvooroordeel.

“Is er iets mis met de wetenschappelijke methode?” zo luidt de uitdagende openingszin van een essay in The New Yorker over de replicatiecrisis en het neergangseffect. Dat ligt eraan wat je ermee bedoelt. ‘De’ wetenschappelijke methode bestaat niet. Er is geen magische formule die je op alle domeinen van de werkelijkheid kunt toepassen, en die telkens betrouwbare kennis oplevert. Niet alleen zijn wetenschappelijke methodes meervoudig, afhankelijk van het onderzoeksdomein, maar ze zijn ook niet in steen gebeiteld. 

Als er één gemene deler is in de diverse wetenschappelijke methodes, dan is het proef­ondervindelijke zelfcorrectie. De methodes die we toepassen in wetenschap, kunnen zelf wijzigen in het licht van nieuwe bevindingen. Sinds we ontdekten dat patiënten vatbaar zijn voor het placebo-effect, hebben we onze medische onderzoeksmethodes aangepast: we hanteren nu een blind proefopzet met een echte groep en een placebogroep, waarbij de patiënt niet weet in welke groep hij zich bevindt. En om het bevestigingsvooroordeel van de behandelende arts de pas af te snijden, voeren we de studie idealiter ook dubbelblind uit: de arts weet zelf niet welke patiënt in welke groep zit.

Ook voor de replicatiecrisis moeten we de wetenschappelijke methode aanpassen. Een mogelijke oplossing is dat onderzoekers op voorhand aan een tijdschrift meedelen welk experiment ze zullen uitvoeren, zodat ze niet halverwege het proefopzet kunnen wijzigen en aan datamassage doen om ‘iets’ interessants te vinden. Een tijdschrift zou zich er ook toe moeten verbinden om het onderzoek sowieso te publiceren, ongeacht de uitkomst. Op die manier vermijd je dat enkel de positieve resultaten (bevestigingen) gepubliceerd worden, en de negatieve ergens onderaan in de schuif blijven liggen.

Voor wetenschap geldt wat Winston Churchill ooit over democratie zei: “It’s the worst form of government except for all those other forms that have been tried”. De wetenschappelijke methode – voor zover we in het enkelvoud kunnen spreken – heeft haar beperkingen. Er zijn talloze manieren waarop onze vooroordelen en wensen toch kunnen doorschemeren in onze bevindingen, ondanks alle filters en grendels. Wetenschappers zijn ook maar mensen. Maar dat punt geldt a fortiori voor alle andere kenvormen. Daar waar wetenschap faalt, zullen intuïtie, persoonlijke anekdotiek, openbaring of de leunstoelmethode dat zeker doen. Bij al die kenvormen geven we onze vooroordelen en illusies nog veel meer vrij spel.

Misschien bestaat er een tumorvaccin dat echt werkt tegen kanker. Of misschien niet. Maar dat kan alleen uit wetenschappelijk onderzoek blijken. Dat het hele onderzoek van Stefaan Van Gool naar de prullenmand mag, en de werkzaamheid van tumorvaccins opnieuw een open vraag is, toont niet aan dat er iets schort aan de wetenschappelijke methode. Het toont wel aan hoe verschrikkelijk moeilijk het is om betrouwbare kennis te vergaren over een zo ingewikkeld verschijnsel als ongecontroleerde celdeling (‘kanker’ dus). En hoe verschrikkelijk makkelijk het is, ook voor verstandige en gedreven mensen, om jezelf voor de gek te houden.

(De Morgen, 1/4/2017)