Betrouwbaarheid in je scriptie | Voorkom willekeurige fouten

Betrouwbaarheid heeft betrekking op de mate waarin een meting in je scriptie vrij is van fouten, op consistente wijze iets meet, en daarmee herhaalbaar is. Je kunt voor een hoge betrouwbaarheid zorgen door willekeurige meetfouten (random errors) te voorkomen.

Drie belangrijke vormen van betrouwbaarheid zijn:

1. Herhaalbaarheid
2. Interne consistentie
3. Gelijkwaardigheid: 
   • intrabeoordelaarsbetrouwbaarheid: één onderzoeker
   • interbeoordelaarsbetrouwbaarheid: meerdere onderzoekers

Willekeurige fouten (random errors) voorkomen

Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.

Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.

Herhaalbaarheid waarborgen

Je kunt controleren of een onderzoek betrouwbaar is door het onderzoek te repliceren en te kijken of je bij deze hermeting (ongeveer) hetzelfde resultaat vindt. De kans op gelijke resultaten kun je vergroten door fouten te voorkomen en een van de volgende handelingen uit te voeren:

• Test-hertest: Voer dezelfde meting meerdere keren uit en meet de consistentie van deze metingen door de tijd heen (de mate van overeenstemming).
• Paralleltest: Je doet een tweede meting met een parallel instrument om de overeenstemming te bekijken.
• Replicatie: Je herhaalt simpelweg het hele onderzoek om de mate van overeenstemming te bepalen.

Herhaalbaarheid van kwalitatief onderzoek waarborgen met je logboek

Als je een kwalitatief onderzoek uitvoert, waarborg je de herhaalbaarheid door tijdens je onderzoek een logboek bij te houden waarin je vermeldt hoe het onderzoek verloopt. Dit heet een audit trail.

Deze audit trail komt voornamelijk van pas bij een scriptie, omdat je vaak niet de tijd hebt om het onderzoek meerdere keren uit te voeren en hiermee de herhaalbaarheid aan te tonen. In de audit trail, oftewel je logboek, leg je daarom alles vast wat je hebt gedaan tijdens het onderzoek. Zo maak je inzichtelijk op welke wijze je de onderzoeksgegevens hebt verkregen.

Ook het primaire onderzoeksmateriaal, zoals bijvoorbeeld de transcripten van je interviews, stel je beschikbaar voor derden mits je hier toestemming voor hebt gevraagd aan de participanten. Je kunt alle documentatie in de bijlagen van je scriptie opnemen. Zo maak je je onderzoek herhaalbaar en navolgbaar.

Interne consistentie garanderen

Interne consistentie heeft betrekking op de mate van samenhang (homogeniteit) tussen meerdere vragen of items die je gebruikt om hetzelfde te meten. Je kunt de interne consistentie waarborgen door ervoor te zorgen dat je scriptie een hoge validiteit heeft. Je berekent de correlaties tussen vragen die hetzelfde meten, om te bepalen of de antwoorden op deze vragen samenhangen.

Een respondent zal op twee (of meer) vragen die hetzelfde meten en voldoende met elkaar samenhangen ongeveer dezelfde antwoorden geven. Is dit niet zo? Dan hangen de vragen waarschijnlijk onvoldoende met elkaar samen en is je meting niet betrouwbaar. Het kan ook voorkomen dat je participant een van de vragen niet heeft begrepen of zomaar wat heeft ingevuld.

Je kunt dan het beste de interne consistentie bepalen met behulp van een statistische toets, oftewel een associatiemaat. Hiermee kun je de samenhang tussen vragen meten. Een voorbeeld van zo’n associatiemaat is Cronbach’s alpha.

Gelijkwaardigheid: inter-/intrabeoordelaarsbetrouwbaarheid

Voor ieder betrouwbaar onderzoek is het van belang dat de manier waarop het onderzoek wordt afgenomen en de wijze waarop de resultaten worden verwerkt steeds hetzelfde zijn. Deze twee aspecten zijn van belang als één onderzoeker de meting uitvoert, maar ook als meerdere onderzoekers dit doen.

De invloed van de onderzoekers op de resultaten moet dus zo klein mogelijk zijn. Hiernaar kun je streven door:

• Dezelfde methode, vragenlijst of meting te gebruiken;
• De methode, vragenlijst of meting op dezelfde manier te gebruiken;
• Te zorgen voor soortgelijke omstandigheden bij alle metingen;
• Resultaten telkens op dezelfde manier te beoordelen.

Intrabeoordelaarsbetrouwbaarheid

De intrabeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van dezelfde metingen door dezelfde onderzoeker.

Als je 10 interviews afneemt bij dezelfde steekproef en onder dezelfde omstandigheden, dan zouden er veel overeenkomsten moeten zijn tussen de interviews. Als de interviews van elkaar verschillen, waardoor je ze niet goed met elkaar kunt vergelijken, neemt de intrabeoordelaarsbetrouwbaarheid af.

Interbeoordelaarsbetrouwbaarheid

De interbeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van een meting die door meerdere onderzoekers is uitgevoerd.

Als je met meerdere onderzoekers aan een onderzoek werkt, dan moet je ervoor zorgen dat verschillende onderzoekers zoveel mogelijk dezelfde resultaten kunnen verkrijgen. Hierbij moet je erop letten dat je het onderzoek op dezelfde manier afneemt en dat je op dezelfde punten focust. Maak daarom goede afspraken met je medeonderzoekers en stel een protocol op.

Betrouwbaarheid beargumenteren in je scriptie

Je beschrijft hoe je betrouwbaarheid van je onderzoek hebt gewaarborgd, net zoals je aangeeft hoe je voor een hoge validiteit hebt gezorgd. In de meeste gevallen ga je in op je keuzes in de methodologie, maar ook in de discussie van je onderzoek. Zo geef je bijvoorbeeld aan of er beperkingen waren, waardoor de validiteit en betrouwbaarheid van je onderzoek mogelijk toch lager zijn dan aanvankelijk gedacht werd.

Verschil in argumentatie tussen kwantitatief en kwalitatief onderzoek

Bij kwantitatief onderzoek kun je de betrouwbaarheid aantonen met behulp van statistische toetsen, zoals Cronbach’s alpha en Cohen’s kappa. Bovendien kun je zorgen voor een betrouwbaar onderzoek door een representatieve steekproef samen te stellen.

Bij kwalitatief onderzoek kun je de betrouwbaarheid van je onderzoek enkel beargumenteren. Hierbij beroep je je vaak op je logboek.

Betrouwbaarheid per onderzoeksmethode

• Betrouwbaarheid bij literatuuronderzoek
• Betrouwbaarheid bij een enquête
• Cheatsheet om de validiteit en betrouwbaarheid te waarborgen

Veelgestelde vragen

Wat is betrouwbaarheid?

Bij betrouwbaarheid gaat het om hoe consistent een methode iets meet. Hierbij is het van belang dat de uitkomsten hetzelfde zijn als je de meting of het gehele onderzoek op exact dezelfde wijze nog een keer uitvoert (reproduceert of repliceert).

Wat zijn willekeurige fouten (random errors)?

Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.

Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.

Wat is het verschil tussen validiteit en betrouwbaarheid?

Bij validiteit gaat het om het meten wat je beoogt te meten. Bij betrouwbaarheid daarentegen gaat het om de vraag of je onderzoeksresultaten hetzelfde zouden zijn als je het onderzoek op dezelfde wijze nogmaals uitvoert.