Erg eigenlijk, dat er geen goed Nederlands woord voor bias bestaat. De beste vertaling is nog ‘vooringenomenheid’, maar als je daarover begint, snapt niemand wat je bedoelt. Als onderzoeker probeer je zoveel mogelijk te voorkomen dat je data worden vernaggeld door iets dat uit jezelf komt. Je kan bijvoorbeeld heel graag willen dat je hypothese waar is, en dat kan je uitslag beïnvloeden. Om dat te voorkomen leer je hier op de universiteit van alles over onderzoeksopzet en statistiek, maar het blijft mogelijk dat onderzoekers zichzelf per ongeluk voor de gek houden, of de buitenwereld expres.

Stel nu dat zulke biases echt voorkomen, wat zou je dan verwachten? Bijvoorbeeld dat jonge onderzoekers vaker een groot effect vinden: hun carrière hangt immers meer af van indrukwekkende resultaten. Of dat onderzoekers in landen waar je via hevige competitie aan onderzoeksgeld moeten komen, vaker grote effecten vinden.

Daniele Fanelli en John Ionaddis van Stanford University zijn de twee bekendste onderzoekers van onderzoek ter wereld. Ze schreven samen met de Leidse Rodrigo Costas een artikel in PNAS over 1910 meta-analyses. Dat zijn artikelen die alle onderzoeken naar een bepaalde vraag bij elkaar vegen. Da’s handig voor dit soort werk, want dan staat alles al netjes bij elkaar. Dan kun je vervolgens gaan kijken of je ook dit soort effecten in de effecten vindt.

Dat deden de drie wetenschappers. Jonge onderzoekers komen inderdaad met uitgesprokener resultaten. In landen waar onderzoeksgeld vooral naar universiteiten gaat, in plaats van direct naar onderzoekers, zijn onderzoekers minder gauw geneigd om hun resultaten te overschatten.

De auteurs benadrukken dat de hoeveelheid vooringenomenheid klein lijkt – ongeveer één procent van de spreiding in resultaten valt erdoor te verklaren - en de verschillen tussen de vakgebieden groot. Dat laatste suggereert dan weer wel dat als je het wil aanpakken, elke discipline een eigen aanpak vereist.