‘That’s not opinion, that’s science. And science is one cold hearted bitch with a fourteen inch strap-on’, om de televisieserie Dexter te citeren. Je zou het niet zeggen, in deze tijd van vaccinweigeraars, klimaatontkenners, Stapels en Baxen, maar de wetenschap krijgt nog steeds een hoop respect. Ondanks alles bestaat er een algemeen besef dat een wetenschappelijke conclusie meer is dan een mening.
De wetenschapper gaat, in theorie althans, zo objectief mogelijk te werk. Het onderzoeksproces wordt goed beschreven, zodat buitenstaanders kunnen kijken of de aanpak wel klopt. Ze kunnen ook de proef over doen, en met eigen ogen de resultaten zien.
In theorie, dus.
In de praktijk zou je als wetenschapper wel gek zijn om zomaar andermans proefjes over te gaan doen. Als je de uitkomst bevestigt – en dat is wel wat je verwacht dat er gebeurt- is dat leuk voor de eerste ontdekker. Maar jij hebt tijd en geld verspild aan iets dat nauwelijks publiceerbaar is.
Hulde, daarom, voor het Reproducibility Project, met als grote vraag: hoeveel onderzoek is er eigenlijk reproduceerbaar? Sowieso niet alles: in de meeste wetenschappen vinden we resultaten goed genoeg als de kans dat ze niet kloppen met de hypothese vijf procent is, of kleiner. Vijf procent is ook niet zoveel, natuurlijk. Maar als je tienduizend onderzoeken hebt die met de hakken over de sloot aan die p-waarde kwamen, dan hebben vijfhonderd daarvan de verkeerde conclusie getrokken.
Er zijn redenen om aan te nemen dat er wel eens meer dan vijf procent van het onderzoek niet reproduceerbaar blijkt. Proefjes die je spannende nieuwe hypothese niet bevestigden, worden minder vaak gepubliceerd. Er bestaan stoute onderzoekers die precies lang genoeg data verzamelen tot hun p-waarde is bereikt, om er dan meteen mee op te houden, en dat is statistieksgewijs niet netjes. Zo af en toe zitten er Stapeltjes tussen, al weet niemand hoeveel dat er precies zijn.
Het Reproducibility Project gaat over psychologie, een soortgelijk initiatief voor biomedici begon iets later. Alle artikelen die in 2008 zijn verschenen in die vakbladen gaan onder de loep, en het onderzoek erin wordt opnieuw gedaan. Daar zit Leids werk bij, waaronder een studie naar inhibitie bij tweetaligen en een proef die suggereerde dat mensen linkser gaan stemmen als je ze laat praten met iemand die hun bewegingen en gezichtsuitdrukkingen imiteert.
Niet iedereen nam het initiatiefnemer Brian Nosek van de University of Virginia in dank af. Een bekende onderzoeker vroeg hem om het niet te doen, omdat de psychologie al genoeg wordt bedreigd. Op korte termijn zal de wetenschap misschien een tikje krijgen, zeker als de reproduceerbaarheid van gepubliceerd werk tegen blijkt te vallen. Op de langere termijn heeft de wetenschap echter geen keuze: je bedrijft wetenschap niet om te publiceren, je doet het om je vingers zo goed mogelijk achter de werkelijkheid te krijgen. Om meer te melden te hebben dan alleen een mening. Aan zorgvuldigheid en reproduceerbaarheid ontkom je dan domweg niet. Reproduceren is naar werk, maar iemand moet doen. Misschien moet zelfs iedereen het doen, maar in elk geval moet iemand ervoor betalen.
Tijd voor een experiment: als bij grote onderzoeksbeurzen een gedeelte van het geld wordt geoormerkt voor een reproductie van de mooiste resultaten door een andere groep, houden de conclusies dan langer stand? Ik denk het wel. Maar dat is maar een mening, natuurlijk.