Betrouwbaarheid in je scriptie | Voorkom willekeurige fouten

Gepubliceerd op 23 november 2016 door Bas Swaen. Bijgewerkt op 26 augustus 2022 door Julia Merkus.

Betrouwbaarheid heeft betrekking op de mate waarin een meting in je scriptie vrij is van fouten, op consistente wijze iets meet, en daarmee herhaalbaar is. Je kunt voor een hoge betrouwbaarheid zorgen door willekeurige meetfouten (random errors) te voorkomen.

Drie belangrijke vormen van betrouwbaarheid zijn:

Herhaalbaarheid
Interne consistentie
Gelijkwaardigheid:
- intrabeoordelaarsbetrouwbaarheid: één onderzoeker
- interbeoordelaarsbetrouwbaarheid: meerdere onderzoekers

Inhoudsopgave

Willekeurige fouten (random errors) voorkomen
Herhaalbaarheid waarborgen
Interne consistentie garanderen
Gelijkwaardigheid: inter-/intrabeoordelaarsbetrouwbaarheid
Betrouwbaarheid beargumenteren in je scriptie
Betrouwbaarheid per onderzoeksmethode
Veelgestelde vragen

Willekeurige fouten (random errors) voorkomen

Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.

Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.

Voorbeelden: Toevallige fouten voorkomen

De respondent weet het antwoord op de vraag niet of begrijpt deze verkeerd en vult maar wat in.
- Voorkom dit door je respondenten zorgvuldig te selecteren, ze voorafgaand aan het onderzoek van basisinformatie te voorzien en door meerdere vragen te stellen om hetzelfde te meten, zodat je kunt controleren of de respondent de vraag heeft begrepen. Ook kun je van tevoren een pilot uitvoeren, waarbij studiegenoten of je begeleider de vragenlijst controleren op onduidelijkheden, zodat je deze nog voor het echte onderzoek kunt verbeteren.

De respondent heeft bij het invullen van de vragenlijst last van harde muziek.
- Voorkom dit door je vragenlijst bij alle respondenten in eenzelfde (rustige) omgeving af te nemen en bijvoorbeeld ook op hetzelfde tijdstip.

De respondent zet per ongeluk een kruisje bij een verkeerd antwoord.
- Je kunt niet voorkomen dat respondenten soms foutjes maken, maar je kunt wel voorkomen dat deze impact hebben op je resultaten door ervoor te zorgen dat je steekproef groot genoeg is.

De onderzoekers gebruiken per ongeluk niet hetzelfde observatieformulier.
- Voorkom dit door de interbeoordelaarsbetrouwbaarheid te waarborgen.

De onderzoekers interpreteren een begrip anders.
- Voorkom dit door vooraf de begripsvaliditeit van je scriptie te waarborgen.

Bij het invoeren van de gegevens maakt de onderzoeker een fout.
- Voorkom dergelijke fouten door zorgvuldig te werk te gaan en te werken met handige tools als Excel of SPSS. Controleer je dataset na afloop of laat deze controleren door iemand anders.

Hoeveel fouten bevat jouw scriptie?

De taalexperts van Scribbr verbeteren gemiddeld 150 fouten per 1000 woorden. Benieuwd wat er precies wordt verbeterd? Verschuif de cursor van links naar rechts!

Scriptie nakijken op taal

Herhaalbaarheid waarborgen

Je kunt controleren of een onderzoek betrouwbaar is door het onderzoek te repliceren en te kijken of je bij deze hermeting (ongeveer) hetzelfde resultaat vindt. De kans op gelijke resultaten kun je vergroten door fouten te voorkomen en een van de volgende handelingen uit te voeren:

Test-hertest: Voer dezelfde meting meerdere keren uit en meet de consistentie van deze metingen door de tijd heen (de mate van overeenstemming).
Paralleltest: Je doet een tweede meting met een parallel instrument om de overeenstemming te bekijken.
Replicatie: Je herhaalt simpelweg het hele onderzoek om de mate van overeenstemming te bepalen.

Herhaalbaarheid van kwalitatief onderzoek waarborgen met je logboek

Als je een kwalitatief onderzoek uitvoert, waarborg je de herhaalbaarheid door tijdens je onderzoek een logboek bij te houden waarin je vermeldt hoe het onderzoek verloopt. Dit heet een audit trail.

Deze audit trail komt voornamelijk van pas bij een scriptie, omdat je vaak niet de tijd hebt om het onderzoek meerdere keren uit te voeren en hiermee de herhaalbaarheid aan te tonen. In de audit trail, oftewel je logboek, leg je daarom alles vast wat je hebt gedaan tijdens het onderzoek. Zo maak je inzichtelijk op welke wijze je de onderzoeksgegevens hebt verkregen.

Ook het primaire onderzoeksmateriaal, zoals bijvoorbeeld de transcripten van je interviews, stel je beschikbaar voor derden mits je hier toestemming voor hebt gevraagd aan de participanten. Je kunt alle documentatie in de bijlagen van je scriptie opnemen. Zo maak je je onderzoek herhaalbaar en navolgbaar.

Interne consistentie garanderen

Interne consistentie heeft betrekking op de mate van samenhang (homogeniteit) tussen meerdere vragen of items die je gebruikt om hetzelfde te meten. Je kunt de interne consistentie waarborgen door ervoor te zorgen dat je scriptie een hoge validiteit heeft. Je berekent de correlaties tussen vragen die hetzelfde meten, om te bepalen of de antwoorden op deze vragen samenhangen.

Een respondent zal op twee (of meer) vragen die hetzelfde meten en voldoende met elkaar samenhangen ongeveer dezelfde antwoorden geven. Is dit niet zo? Dan hangen de vragen waarschijnlijk onvoldoende met elkaar samen en is je meting niet betrouwbaar. Het kan ook voorkomen dat je participant een van de vragen niet heeft begrepen of zomaar wat heeft ingevuld.

Je kunt dan het beste de interne consistentie bepalen met behulp van een statistische toets, oftewel een associatiemaat. Hiermee kun je de samenhang tussen vragen meten. Een voorbeeld van zo’n associatiemaat is Cronbach’s alpha.

Voorbeeld: Interne consistentie

Onderzoek naar: de klanttevredenheid van de bezoekers van de Hema met behulp van een vragenlijst.
Vragen/items: 5 vragen met een 10-puntsschaal.
Voorbeelden van vragen: “Hoe waardeer je de behulpzaamheid van het personeel in deze Hema-vestiging?”, en “Hoe waardeer je de klachtafhandeling van de Hema-vestiging?”

Aanpak: Om de klanttevredenheid te onderzoeken, wil je het gemiddelde van deze 5 vragen gebruiken als eindcijfer. Voordat je dit kunt doen, moet je eerst weten of de vragen goed met elkaar samenhangen en of deze vragen allemaal hetzelfde construct (de klanttevredenheid) meten.

Je kunt dit aantonen door de correlatie tussen de 5 vragen uit te rekenen. Met andere woorden: liggen de scores van de 5 afzonderlijke vragen bij elkaar in de buurt? Is er homogeniteit tussen de set van vragen? Ook kun je hiervoor de Cronbach’s alpha berekenen.

Gelijkwaardigheid: inter-/intrabeoordelaarsbetrouwbaarheid

Voor ieder betrouwbaar onderzoek is het van belang dat de manier waarop het onderzoek wordt afgenomen en de wijze waarop de resultaten worden verwerkt steeds hetzelfde zijn. Deze twee aspecten zijn van belang als één onderzoeker de meting uitvoert, maar ook als meerdere onderzoekers dit doen.

De invloed van de onderzoekers op de resultaten moet dus zo klein mogelijk zijn. Hiernaar kun je streven door:

Dezelfde methode, vragenlijst of meting te gebruiken;
De methode, vragenlijst of meting op dezelfde manier te gebruiken;
Te zorgen voor soortgelijke omstandigheden bij alle metingen;
Resultaten telkens op dezelfde manier te beoordelen.

Intrabeoordelaarsbetrouwbaarheid

De intrabeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van dezelfde metingen door dezelfde onderzoeker.

Als je 10 interviews afneemt bij dezelfde steekproef en onder dezelfde omstandigheden, dan zouden er veel overeenkomsten moeten zijn tussen de interviews. Als de interviews van elkaar verschillen, waardoor je ze niet goed met elkaar kunt vergelijken, neemt de intrabeoordelaarsbetrouwbaarheid af.

Voorbeeld: Intrabeoordelaarsbetrouwbaarheid bepalen

De intrabeoordelaarsbetrouwbaarheid kan worden uitgedrukt in Cohen’s kappa of de ICC-waarde. Die bereken je bijvoorbeeld met behulp van SPSS. Tijdens de data-analyse kun je hiermee controleren of de resultaten betrouwbaar zijn.

Je kunt ook zonder statistiek de intrabeoordelaarsbetrouwbaarheid beoordelen. Stel dat er tijdens 1 van de 20 interviews veel onverwachte geluidsoverlast was, waardoor de respondent zich niet kon concentreren, dan kun je beredeneren dat de uitkomsten van dit interview niet heel betrouwbaar zijn. In dit geval kun je beslissen dit interview niet mee te nemen in je resultaten.

Interbeoordelaarsbetrouwbaarheid

De interbeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van een meting die door meerdere onderzoekers is uitgevoerd.

Als je met meerdere onderzoekers aan een onderzoek werkt, dan moet je ervoor zorgen dat verschillende onderzoekers zoveel mogelijk dezelfde resultaten kunnen verkrijgen. Hierbij moet je erop letten dat je het onderzoek op dezelfde manier afneemt en dat je op dezelfde punten focust. Maak daarom goede afspraken met je medeonderzoekers en stel een protocol op.

Voorbeeld: Interbeoordelaarsbetrouwbaarheid bepalen

De interbeoordelaarsbetrouwbaarheid kan – net als de intrabeoordelaarsbetrouwbaarheid – worden uitgedrukt in Cohen’s kappa of de ICC-waarde.