Wetenschap
Kwantiteit of kwaliteit?
Wetenschappers worden aangemoedigd om veel te publiceren. Maar wanneer wordt dat te veel? Onderzoeker Rodrigo Costas analyseerde het werk van ruim 28 miljoen onderzoekers. ‘Als je echt gaat salamipubliceren, val je in herhaling.’
donderdag 6 oktober 2016
‘Als je heel veel pijlen afschiet, is de kans dat je de roos raakt groter.’

In films en op televisie zijn wetenschappers altijd of proefjes aan het doen, of les aan het geven. Nooit schrijven ze eens een beursaanvraag, terwijl echte wetenschappers daar toch een derde van al hun tijd aan kwijt kunnen zijn. Je ziet ze al helemaal nooit achter een computer zitten, met hun data in één venster, vier afleidingen in andere vensters en een boosaardige writer’s block, rondzwemmend in een steeds grotere plas koffie.

Toch is schrijven een net zo belangrijk onderdeel van de wetenschap als het onderzoek zelf. Het werk is pas echt af als collega’s er kennis van kunnen nemen, en er commentaar op kunnen geven. Het curriculum vitae van een wetenschapper is vooral een publicatielijst.

Wetenschappers worden ook beoordeeld op hun publicaties: bij sollicitaties, salarisonderhandelingen, en het verstrekken van onderzoeksgeld. Omdat veel beoordelingen en ranglijstjes vooral kijken naar het aantal publicaties, is er dus reden voor onderzoekers om zoveel mogelijk artikelen te schrijven.

Daar is ook weer kritiek op, vanuit de wetenschap. Kwantiteit zou niet zwaarder moeten wegen dan kwaliteit, is het idee. Door vooral dat eerste te belonen, ontstaat een verschijnsel met heel veel verschillende namen. De een spreekt van het publon, een fictief ‘deeltje’ dat de kleinst publiceerbare hoeveelheid kennis weergeeft. Anderen hebben het over salami publishing: waarbij mensen hun onderzoek in zo dun mogelijke plakjes uitserveren.

Veel wetenschappers menen dat in hun eigen vakgebied te zien, en er is ook wel wat onderzoek dat suggereert dat het verschijnsel echt bestaat – het Leidse Centrum voor Wetenschap en Techniekstudies (CWTS) liet in 2013 bijvoorbeeld zien dat de publicaties in bepaalde vakbladen steeds dunner worden. Er is echter nog niet zoveel onderzoek naar de gevolgen ervan: kan dat nou kwaad, dat plakjespubliceren?

‘Er zijn wat kleine onderzoeken gedaan, naar honderd of een paar honderd wetenschappers. Die lieten vaak zien dat een hoger aantal publicaties ook een hoger totaal aantal citaties oplevert’, vertelt Rodrigo Costas, onderzoeker bij het CWTS. Zelf onderzocht hij de vraag ook, maar dan niet met een steekproef. Samen met zijn Canadese collega Vincent Larivière keek hij naar de onderzoeksresultaten van alle wetenschappers die tussen 1980 en 2013 een artikel publiceerden dat in de wetenschappelijke database Web of Science opgenomen is. Dat zijn er, volgens hun recente artikel in PLOS ONE, zo’n 28.078.476. Plus of min een beetje omdat je, ondanks correcties daarvoor, niet perfect rekening kunt houden met wetenschappers die van naam veranderen, met verschillende namen in de databank staan, of diezelfde naam delen met anderen. ‘Zo’n grote analyse was nog niet gedaan’, aldus Costas.

Van al die miljoenen wetenschappers bepaalden Costas en zijn collega het aantal publicaties. Vervolgens wilden ze weten hoeveel er daarvan echte toppublicaties waren: behorend tot de één procent meest geciteerde artikelen uit hun vakgebied. ‘Dat is echt een veeleisende indicator; zelfs voor toponderzoekers is maar een klein gedeelte van al hun werk zo succesvol.’

Hoe hoger het aantal publicaties, hoe hoger het aandeel in de topartikelen, stelden Lariviére en Costas vast. Bij biomedici heeft anderhalf procent van de artikelen van mensen met vijftig publicaties op hun naam zo’n hoog aantal citaties, bij de mensen met meer dan tweehonderd publicaties is dat drie procent.

Er is dus geen afweging tussen kwantiteit en kwaliteit, of in elk geval niet als je alle wetenschappers op één hoop gooit. ‘Dat betekent niet dat dit voor alle wetenschappers geldt’, benadrukt Costas: ‘Maar dit is wel het gemiddelde patroon.’

Maar hoe kan dat dan? ‘Misschien is die salami die in plakjes wordt gesneden niet de enige analogie’, oppert hij, ‘en moet je meer aan boogschieten denken. Als je heel zorgvuldig één pijl afschiet, schiet je misschien wel in de roos. Als je er heel veel afschiet, is de kans dat je raak schiet echter groter. Nog belangrijker: als je dat doet, word je beter in boogschieten.’ Wetenschappelijk gezien: je legt meer contacten, leert hoe je met vakbladredacteuren en reviewers om moet gaan, je krijgt een functie met promovendi onder je, en publiceert samen met hen.

Voor wie zich nu voorneemt om voortaan zelf ook elk experiment in tenminste drie mini-publicaties op te schrijven: bij jongere onderzoekers in veel vakgebieden is de kans op toppublicaties wél kleiner als ze meer artikelen op hun naam hebben. Hoe dat precies komt weet Costas niet: ‘Misschien zitten deze onderzoekers nog in het leerproces.’

Wat is dan de beste publicatie-strategie? ‘Daar is niet één eenvoudig antwoord op te geven’, legt Costas uit. ‘Je moet ergens in het midden zitten. Als je echt gaat salamipubliceren, valt je werk in herhaling. Als je promovendi vertelt dat ze maar één goede publicatie hoeven te schrijven, loop je het risico dat dat ene artikel faalt. De wetenschap houdt ook niet zo van one hit wonders. Je wilt een min of meer constante interactie met de onderzoeksgemeenschap in je vakgebied hebben; je moet regelmatig iets publiceren om jezelf in de kijker te spelen.’

Twitterhits

Behalve naar het verband tussen productie en succes onderzoekt CWTS-wetenschapper Rodrigo Costas ook de zogeheten Altmetrics. ‘We analyseren hoe een wetenschappelijk artikel ontvangen wordt op sociale media en blogs. We willen weten of er een verband is tussen die ontvangst en de traditionele indicatoren die we in het onderzoek naar wetenschappelijke publicaties gebruiken, zoals het aantal citaties.’

Zolang er naar het artikel gelinkt wordt, is het eenvoudig om bij te houden hoe vaak mensen over je werk twitteren, facebooken of bloggen. Via Altmetric.it kun je een plugin voor je browser installeren die dat doet. Costas: ‘We weten nog niet zo goed wat die cijfers betekenen. Kan je ze gebruiken bij de evaluatie van een onderzoeker, en zo ja, hoe?’

Een artikel kan ook rondzingen op Twitter juist omdat iedereen elkaar aan het vertellen is wat een prutswerk erin staat. Costas: ‘Dan is het nog steeds goed om te weten dat dat gebeurt! Dan kan je als onderzoeker, of als universitaire PR-afdeling, maatregelen nemen. Het is relevant om te weten hoe er over wetenschap gediscussieerd wordt op sociale media. Het is ook bruikbaar als je weet wie de online gemeenschap is die praat over jouw soort onderzoek: die kan je misschien wel benaderen met vragen, of verzoeken om crowdfunding of crowdsourcing.’

Betekent dat dat alle wetenschappers hun onderzoek zouden moeten delen op sociale media? ‘Ik kan geen reden verzinnen waarom het kwaad zou kunnen. Twitteren kost een paar minuten. Het schrijven van een uitgebreide blogpost wat meer, maar dat levert je ook weer exposure op; symbolisch kapitaal. Dat kapitaal kwantificeren, dat is wat wij willen doen.’

Bart Braun