Opinie: Hoe nu verder?

De sociale psychologie na de affaire Stapel

Frenologie, een onzinleer die persoonskenmerken bepaalde aan de hand van de vorm van hersendelen.

Het eindrapport over de wetenschappelijke fraude van Diederik Stapel heeft veel vragen opgeroepen over het vakgebied sociale psychologie. Hoogleraar Naomi Ellemers beantwoordt de vragen die haar de afgelopen weken het meest zijn gesteld. 'Het doel van peer review is niet het opsporen van fraude.'

Vraag 1: Wat is de sociale psychologie?
De sociale psychologie onderzoekt 'de macht van de situatie'. Hoe, wanneer, en waarom laten mensen zich leiden door anderen, of door min of meer toevallige omstandigheden? Wat is de invloed daarvan op hun gedachten, gevoelens en gedrag?
De onderzoeken van Stapel gaan vrijwel allemaal over de vraag hoe de indrukken en opinies verschuiven wanneer mensen met bepaalde instructies worden geconfronteerd. Via vragenlijsten krijgen deelnemers in woorden of beelden een situatiebeschrijving voorgelegd waarna hen wordt gevraagd op beoordelingsschalen hun indrukken en opinies aan te geven.
Maar in de sociale psychologie worden tal van andere vragen bestudeerd, die met een breed scala van methoden en metingen worden onderzocht. Meestal wordt een onderscheid gemaakt tussen vier verschillende niveaus van analyse:

INTRA-PERSOONLIJKE PROCESSEN Wat gebeurt er in het hoofd van mensen als zij indrukken of opinies vormen? Om dit te onderzoeken wordt gebruik gemaakt van metingen van hersenactiviteit met een electro-encephalogram (EEG) of een hersenscan (fMRI), of metingen van reactietijden of oogbewegingen, bijvoorbeeld om aandacht voor bepaalde informatie in kaart te brengen. Hiernaast worden hartslag en bloeddruk gemeten, evenals fluctuaties in hormoonspiegels (cortisol, testosteron), bijvoorbeeld om vast te stellen wanneer stress optreedt en hoe mensen daarmee omgaan.

INTER-PERSOONLIJKE PROCESSEN Hoe gaan mensen met elkaar om? Om hier achter te komen wordt bijvoorbeeld non-verbaal gedrag tijdens een eerste kennismaking geobserveerd, of worden inhoudsanalyses gedaan op verbale uitingen in een tweegesprek. Hiernaast worden ook longitudinale studies gedaan, bijvoorbeeld om te kijken of de manier waarop jonge stellen met conflicten omgaan, voorspelt of zij jaren later nog bij elkaar zijn.

INTRA-GROEPS PROCESSEN Hoe werken mensen met elkaar samen in groepen? Hier worden bijvoorbeeld verschillende samenwerkingsvormen in verband gebracht met bedrijfsgegevens over productiviteit en ziekteverzuim, of resultaten van verschillende sportteams in de landelijke competitie geanalyseerd om te bepalen wat succes- en probleemfactoren zijn.

INTERGROEPSPROCESSEN Hoe gedragen mensen zich tegen iemand die tot een andere groep behoort? Dit wordt onder andere onderzocht door in kaart te brengen hoe buurtconflicten tussen vertegenwoordigers van verschillende culturele groepen ontstaan en worden opgelost, of door te kijken of er een verschil is in de manier waarop homoseksuelen die wel en niet uit de kast zijn gekomen op het werk worden behandeld.

Vraag 2: Is 'sloppy science' normaal in de sociale psychologie?
In de sociale psychologie wordt veel gewerkt met een 'empirische cyclus'. Dit is een steeds opeenvolgend proces van theorievorming, toetsing van hypothesen, en ontwikkeling van nieuwe theorie aan de hand van (onverwachte) observaties. Hierbij is het normaal om gebruik te maken van voorstudies, verkennende data-analyses, en uittesten van bruikbare metingen, om daarna alleen verder te gaan met procedures en metingen die goed blijken te werken. Zoals ook in het eindrapport van de commissie Levelt wordt aangegeven is dit op zich helemaal geen probleem.
Er is sprake van 'sloppy science' als over deze verkennende fase niets gezegd wordt in het onderzoeksverslag, of als verkennend onderzoek wordt gebruikt om definitieve conclusies te trekken. De meeste tijdschriften publiceren onderzoeksgegevens daarom alleen als er controlemetingen zijn toegevoegd, als er alternatieve verklaringen kunnen worden uitgesloten, en als de gerapporteerde resultaten in een onafhankelijke steekproef herhaald kunnen worden.
Had de fraude dan niet eerder ontdekt moeten worden? De commissie Levelt benadrukt dat het uitgangspunt bij wetenschap vertrouwen is. Zij schrijft: 'Een wetenschapper fraudeert niet, het is bijna onvoorstelbaar dat dit gebeurt.' Het proces van peer review is vooral gericht op het beoordelen van het belang van de onderzoeksvraag en de kwaliteit van de methode van onderzoek. Het doel van peer review is niet het opsporen van fraude. De commissie merkt dan ook op dat veel merkwaardigheden in de studies van Stapel pas achteraf uitdrukkelijk naar voren zijn gekomen, en pas duidelijk zichtbaar zijn 'met de kennis van nu', onder meer omdat Stapel een ingenieuze aanpak hanteerde en mensen op geraffineerde wijze om de tuin leidde.
Niettemin zijn er zaken voor verbetering vatbaar. Het belang van replicatie-onderzoek om de betrouwbaarheid van onderzoeksresultaten te toetsen wordt in het vakgebied inmiddels breed erkend. Recent zijn er verschillende nieuwe initiatieven genomen om het gemakkelijker te maken dit soort onderzoek te organiseren en de resultaten ervan bekend te maken – ongeacht de uitkomsten ervan. Deze initiatieven worden ook in het rapport Levelt genoemd als belangrijke nieuwe ontwikkelingen.
Naast letterlijke of exacte replicaties (om te kijken of je met precies dezelfde onderzoeksmethode precies dezelfde resultaten kunt herhalen) zijn ook zogenaamde conceptuele replicaties heel belangrijk. Dat houdt in dat je dezelfde theoretische voorspelling juist op een andere manier onderzoekt. Dit is een middel om de algemene geldigheid van de theorie onder verschillende omstandigheden te onderzoeken. Conceptuele replicaties worden bijvoorbeeld gebruikt om te kijken of je resultaten uit een laboratoriumexperiment kunt generaliseren naar een situatie in het veld. Deze manier van theoriegestuurde replicatie komt heel veel voor in de sociale psychologie, en is een belangrijk hulpmiddel om de bredere betekenis van een bepaald onderzoeksresultaat vast te stellen.

Vraag 3: Wat wordt er gedaan om fraude in de toekomst te voorkomen?
De commissie Levelt geeft aan dat het invoeren van grootschalige controles achteraf alleen al om praktische redenen ondoenlijk is. In plaats hiervan bepleit deze commissie (evenals de commissie Schuyt die in opdracht van de Koninklijke Nederlandse Akademie van Wetenschappen de omgang met onderzoeksgegevens onderzocht) de inhoud en noodzaak van bestaande regels aan te scherpen en expliciet onder de aandacht te brengen van studenten en onderzoekers.
Dit proces is inmiddels in volle gang. Van alle wetenschappelijke onderzoekers wordt verwacht dat zij zich houden aan de gedragscode Wetenschapsbeoefening van de universiteitskoepel VSNU. Hiernaast is voor psychologisch onderzoekers de gedragscode van de American Psychological Association (APA) relevant, waar in het bijzonder aandacht wordt besteed aan de bescherming van patiënten en onderzoeksdeelnemers.
Nadat in het najaar van 2011 met het interim rapport van de commissie Levelt de omvang van de fraude van Diederik Stapel duidelijk werd, zijn binnen de discipline verschillende analyses gemaakt en lijsten van aanbevelingen opgesteld. In aanvulling op de hierboven genoemde algemene richtlijnen is het initiatief genomen om gezamenlijke uitgangspunten voor sociaal psychologisch onderzoek te expliciteren en onder de aandacht te brengen. Dit heeft geleid tot concrete richtlijnen en checklists met betrekking tot voorbereiding van onderzoek, de omgang met onderzoeksdeelnemers, de gegevensverzameling, de opslag en analyse van gegevens, en de verslaglegging van onderzoek. De verschillende rapporten, aanbevelingen, en richtlijnen zijn te vinden via de websites van de Associatie van Sociaal Psychologische Onderzoekers (ASPO) en de landelijke onderzoeksschool, het Kurt Lewin Instituut (KLI).
Ten slotte benadrukt de commissie Levelt het belang van collegialiteit en samenwerking als methode om de kwaliteit en integriteit van het onderzoek te bewaken. De landelijke samenwerkingsverbanden in de sociale psychologie (ASPO en KLI) vormen een belangrijke basis voor uitwisseling van kennis, uitwerken van richtlijnen, en gezamenlijke kwaliteitsbewaking.

Naomi Ellemers is hoogleraar sociale psychologie van de organisatie.

Uitgangspunten bij het doen van sociaal-psychologisch onderzoek

Voorbereiding Wetenschappelijk onderzoek is gebaat bij een zorgvuldige voorbereiding en samenwerking waarbij onderzoekers elkaar consulteren.
Omgang met onderzoeksdeelnemers Deelnemers aan onderzoek behoren zorgvuldig en met respect behandeld worden. Hun gegevens dienen op vertrouwelijke wijze behandeld te worden.
Gegevensverzameling Wetenschappelijk onderzoek moet repliceerbaar zijn. Procedures van onderzoek (uitvoering, databewerking en –analyse) dienen zorgvuldig gedocumenteerd te worden.
Analyse en opslag van gegevens Conclusies uit verkregen onderzoeksgegevens moeten geverifieerd kunnen worden. Onderzoeksgroepen dienen voorzieningen te treffen waarmee de langdurige beschikbaarheid van materialen en gegevens voor dit doel (in elk geval tot 5 jaar na publicatie) gegarandeerd kan worden.
Verslaglegging Uit de verslaglegging moet duidelijk worden welke stappen in het onderzoek en de analyses tot bepaalde conclusies hebben geleid. Het verdient aanbeveling te expliciteren wat de specifieke verantwoordelijkheden waren van elk van de betrokken onderzoekers.

Relevante links:

http://pps.sagepub.com/content/7/6.toc

http://openscienceframework.org/project/EZcUj/

http://psychfiledrawer.org/

http://www.vsnu.nl/Subsites/Wetenschappelijke-integriteit.htm

http://www.apa.org/ethics/code/index.aspx)

http://www.sociale-psychologie.nl/feed/

http://www.kurtlewininstitute.nl/research/

Deel dit bericht: