De kwaliteit van je onderzoek beoordelen

Het onderzoek dat je voor je scriptie doet, moet goed in elkaar zitten. Dat betekent bijvoorbeeld dat het onderzoek betrouwbaar en valide is, en dat de resultaten repliceerbaar en reproduceerbaar zijn. Je weet dan zeker dat de gevonden resultaten geen toevalstreffers zijn en dat ze niet beïnvloed zijn. Waar moet je precies op letten als je de kwaliteit van je onderzoek gaat beoordelen? Dit zijn de belangrijkste aandachtspunten.

Wil je de kwaliteit beoordelen van het onderzoek dat je hebt gedaan? Let dan in elk geval op het volgende:

• validiteit;
• betrouwbaarheid;
• onafhankelijkheid;
• praktische bruikbaarheid;
• reproduceerbaarheid en repliceerbaarheid;
• generaliseerbaarheid.

Ten eerste moet jouw onderzoek valide zijn. Dit betekent dat je meet wat de bedoeling was om te meten.

Stel: je wilt meten in welke mate mensen faalangst hebben. Dan moet je daarvoor een meetinstrument gebruiken dat daar daadwerkelijk voor geschikt is. Een vragenlijst over zelfvertrouwen is dan bijvoorbeeld niet valide. Ook is het onderzoek minder valide als je een vragenlijst zo opstelt dat deelnemers mogelijk sociaal wenselijke antwoorden geven.

Als je onderzoek betrouwbaar is, betekent dit dat je bij een herhaling van je onderzoek met exact dezelfde methode dezelfde resultaten zou krijgen. Je hebt dus geen willekeurige meetfouten gemaakt. Je wilt bijvoorbeeld voorkomen dat respondenten per ongeluk een verkeerd antwoord geven, dat beoordelaars de antwoorden verschillend analyseren of dat meerdere interviewers de interviewvragen anders formuleren.

Elk onderzoek dat je doet, moet onafhankelijk en objectief zijn. Dat betekent dat de mening of belangen van eventuele betrokkenen of van jou als onderzoeker de resultaten niet hebben beïnvloed. In de praktijk spreken we vaak van ‘intersubjectiviteit’: als een andere onderzoeker hetzelfde onderzoek doet, moet hij tot soortgelijke resultaten komen.

Onderzoek is bijvoorbeeld mogelijk niet onafhankelijk als een commerciële organisatie er opdracht toe geeft om hun eigen producten in een positief daglicht te stellen. Stel: jij doet onderzoek voor een coachingsbureau naar de positieve effecten van het inschakelen van een coach. Je wordt dan mogelijk gestuurd in je vraagstelling door het doel van het coachingsbureau. Zij hebben er immers baat bij dat er vooral veel positieve effecten naar voren komen. Je moet dan je onafhankelijkheid bewaken.

Dit doel is vooral belangrijk als je onderzoek doet voor een opdrachtgever. In dat geval wil je dat de opdrachtgever daadwerkelijk met de resultaten of met je aanbevelingen aan de slag kan gaan. Je wilt het onderzoek op zo’n manier opzetten dat de adviezen uitvoerbaar zijn voor de opdrachtgever.

Het is overigens denkbaar dat een onderzoek niet betrouwbaar of valide is, maar wel iets oplevert voor de opdrachtgever. Als jij een paar mensen ondervraagt over hun ervaring bij een tandartsenpraktijk, zijn je resultaten niet zo makkelijk te generaliseren naar de ervaringen van alle Nederlanders met de tandarts. Wel kan de tandartsenpraktijk er wellicht iets uit halen om hun diensten te verbeteren.

Voor het beoordelen van de kwaliteit van je onderzoek kijk je ook naar reproduceerbaarheid en repliceerbaarheid. Reproduceerbaarheid betekent dat een onderzoeker bij het gebruik van dezelfde methode met een nieuwe dataset tot soortgelijke resultaten komt. Repliceerbaarheid houdt in dat een onderzoeker met dezelfde methode én dezelfde dataset dezelfde bevindingen heeft.

Je kunt meestal geen onderzoek doen onder alle mensen uit de doelgroep of over alle situaties. Daarom kies je voor een steekproef van mensen uit de onderzoekspopulatie of focus je je op één of een paar situaties. Belangrijk is wel dat jouw gekozen steekproef representatief is voor de gehele onderzoekspopulatie.

Dat maakt de resultaten meer generaliseerbaar: de kans is groter dat de resultaten voor een groot aantal mensen of gevallen in de echte wereld geldt. Vooral bij kwantitatief onderzoek is generaliseerbaarheid belangrijk.

Over veel van deze kwaliteitscriteria hebben wij aparte artikelen online staan. Wil je meer lezen over het beoordelen van de kwaliteit van je onderzoek? Lees dan bijvoorbeeld verder over deze thema’s:

• soorten validiteit;
• soorten betrouwbaarheid;
• validiteit literatuuronderzoek;
• validiteit en betrouwbaarheid interviews;
• validiteit en betrouwbaarheid enquêtes;
• onderzoeksmethodes;
• data-analyse.