Betrouwbaarheid in je scriptie | Voorkom willekeurige fouten
Betrouwbaarheid heeft betrekking op de mate waarin een meting in je scriptie vrij is van fouten, op consistente wijze iets meet, en daarmee herhaalbaar is. Je kunt voor een hoge betrouwbaarheid zorgen door willekeurige meetfouten (random errors) te voorkomen.
Drie belangrijke vormen van betrouwbaarheid zijn:
- Herhaalbaarheid
- Interne consistentie
- Gelijkwaardigheid:
- intrabeoordelaarsbetrouwbaarheid: één onderzoeker
- interbeoordelaarsbetrouwbaarheid: meerdere onderzoekers
Willekeurige fouten (random errors) voorkomen
Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.
Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.
- De respondent weet het antwoord op de vraag niet of begrijpt deze verkeerd en vult maar wat in.
- Voorkom dit door je respondenten zorgvuldig te selecteren, ze voorafgaand aan het onderzoek van basisinformatie te voorzien en door meerdere vragen te stellen om hetzelfde te meten, zodat je kunt controleren of de respondent de vraag heeft begrepen. Ook kun je van tevoren een pilot uitvoeren, waarbij studiegenoten of je begeleider de vragenlijst controleren op onduidelijkheden, zodat je deze nog voor het echte onderzoek kunt verbeteren.
- De respondent heeft bij het invullen van de vragenlijst last van harde muziek.
- Voorkom dit door je vragenlijst bij alle respondenten in eenzelfde (rustige) omgeving af te nemen en bijvoorbeeld ook op hetzelfde tijdstip.
- De respondent zet per ongeluk een kruisje bij een verkeerd antwoord.
- Je kunt niet voorkomen dat respondenten soms foutjes maken, maar je kunt wel voorkomen dat deze impact hebben op je resultaten door ervoor te zorgen dat je steekproef groot genoeg is.
- De onderzoekers gebruiken per ongeluk niet hetzelfde observatieformulier.
- Voorkom dit door de interbeoordelaarsbetrouwbaarheid te waarborgen.
- De onderzoekers interpreteren een begrip anders.
- Voorkom dit door vooraf de begripsvaliditeit van je scriptie te waarborgen.
- Bij het invoeren van de gegevens maakt de onderzoeker een fout.
- Voorkom dergelijke fouten door zorgvuldig te werk te gaan en te werken met handige tools als Excel of SPSS. Controleer je dataset na afloop of laat deze controleren door iemand anders.
Herhaalbaarheid waarborgen
Je kunt controleren of een onderzoek betrouwbaar is door het onderzoek te repliceren en te kijken of je bij deze hermeting (ongeveer) hetzelfde resultaat vindt. De kans op gelijke resultaten kun je vergroten door fouten te voorkomen en een van de volgende handelingen uit te voeren:
- Test-hertest: Voer dezelfde meting meerdere keren uit en meet de consistentie van deze metingen door de tijd heen (de mate van overeenstemming).
- Paralleltest: Je doet een tweede meting met een parallel instrument om de overeenstemming te bekijken.
- Replicatie: Je herhaalt simpelweg het hele onderzoek om de mate van overeenstemming te bepalen.
Herhaalbaarheid van kwalitatief onderzoek waarborgen met je logboek
Als je een kwalitatief onderzoek uitvoert, waarborg je de herhaalbaarheid door tijdens je onderzoek een logboek bij te houden waarin je vermeldt hoe het onderzoek verloopt. Dit heet een audit trail.
Deze audit trail komt voornamelijk van pas bij een scriptie, omdat je vaak niet de tijd hebt om het onderzoek meerdere keren uit te voeren en hiermee de herhaalbaarheid aan te tonen. In de audit trail, oftewel je logboek, leg je daarom alles vast wat je hebt gedaan tijdens het onderzoek. Zo maak je inzichtelijk op welke wijze je de onderzoeksgegevens hebt verkregen.
Ook het primaire onderzoeksmateriaal, zoals bijvoorbeeld de transcripten van je interviews, stel je beschikbaar voor derden mits je hier toestemming voor hebt gevraagd aan de participanten. Je kunt alle documentatie in de bijlagen van je scriptie opnemen. Zo maak je je onderzoek herhaalbaar en navolgbaar.
Interne consistentie garanderen
Interne consistentie heeft betrekking op de mate van samenhang (homogeniteit) tussen meerdere vragen of items die je gebruikt om hetzelfde te meten. Je kunt de interne consistentie waarborgen door ervoor te zorgen dat je scriptie een hoge validiteit heeft. Je berekent de correlaties tussen vragen die hetzelfde meten, om te bepalen of de antwoorden op deze vragen samenhangen.
Een respondent zal op twee (of meer) vragen die hetzelfde meten en voldoende met elkaar samenhangen ongeveer dezelfde antwoorden geven. Is dit niet zo? Dan hangen de vragen waarschijnlijk onvoldoende met elkaar samen en is je meting niet betrouwbaar. Het kan ook voorkomen dat je participant een van de vragen niet heeft begrepen of zomaar wat heeft ingevuld.
Je kunt dan het beste de interne consistentie bepalen met behulp van een statistische toets, oftewel een associatiemaat. Hiermee kun je de samenhang tussen vragen meten. Een voorbeeld van zo’n associatiemaat is Cronbach’s alpha.
Vragen/items: 5 vragen met een 10-puntsschaal.
Voorbeelden van vragen: “Hoe waardeer je de behulpzaamheid van het personeel in deze Hema-vestiging?”, en “Hoe waardeer je de klachtafhandeling van de Hema-vestiging?”
Aanpak: Om de klanttevredenheid te onderzoeken, wil je het gemiddelde van deze 5 vragen gebruiken als eindcijfer. Voordat je dit kunt doen, moet je eerst weten of de vragen goed met elkaar samenhangen en of deze vragen allemaal hetzelfde construct (de klanttevredenheid) meten.
Je kunt dit aantonen door de correlatie tussen de 5 vragen uit te rekenen. Met andere woorden: liggen de scores van de 5 afzonderlijke vragen bij elkaar in de buurt? Is er homogeniteit tussen de set van vragen? Ook kun je hiervoor de Cronbach’s alpha berekenen.
Gelijkwaardigheid: inter-/intrabeoordelaarsbetrouwbaarheid
Voor ieder betrouwbaar onderzoek is het van belang dat de manier waarop het onderzoek wordt afgenomen en de wijze waarop de resultaten worden verwerkt steeds hetzelfde zijn. Deze twee aspecten zijn van belang als één onderzoeker de meting uitvoert, maar ook als meerdere onderzoekers dit doen.
De invloed van de onderzoekers op de resultaten moet dus zo klein mogelijk zijn. Hiernaar kun je streven door:
- Dezelfde methode, vragenlijst of meting te gebruiken;
- De methode, vragenlijst of meting op dezelfde manier te gebruiken;
- Te zorgen voor soortgelijke omstandigheden bij alle metingen;
- Resultaten telkens op dezelfde manier te beoordelen.
Intrabeoordelaarsbetrouwbaarheid
De intrabeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van dezelfde metingen door dezelfde onderzoeker.
Als je 10 interviews afneemt bij dezelfde steekproef en onder dezelfde omstandigheden, dan zouden er veel overeenkomsten moeten zijn tussen de interviews. Als de interviews van elkaar verschillen, waardoor je ze niet goed met elkaar kunt vergelijken, neemt de intrabeoordelaarsbetrouwbaarheid af.
Je kunt ook zonder statistiek de intrabeoordelaarsbetrouwbaarheid beoordelen. Stel dat er tijdens 1 van de 20 interviews veel onverwachte geluidsoverlast was, waardoor de respondent zich niet kon concentreren, dan kun je beredeneren dat de uitkomsten van dit interview niet heel betrouwbaar zijn. In dit geval kun je beslissen dit interview niet mee te nemen in je resultaten.
Interbeoordelaarsbetrouwbaarheid
De interbeoordelaarsbetrouwbaarheid geeft een indicatie van de mate van overeenkomst tussen de uitkomsten van een meting die door meerdere onderzoekers is uitgevoerd.
Als je met meerdere onderzoekers aan een onderzoek werkt, dan moet je ervoor zorgen dat verschillende onderzoekers zoveel mogelijk dezelfde resultaten kunnen verkrijgen. Hierbij moet je erop letten dat je het onderzoek op dezelfde manier afneemt en dat je op dezelfde punten focust. Maak daarom goede afspraken met je medeonderzoekers en stel een protocol op.
Betrouwbaarheid beargumenteren in je scriptie
Je beschrijft hoe je betrouwbaarheid van je onderzoek hebt gewaarborgd, net zoals je aangeeft hoe je voor een hoge validiteit hebt gezorgd. In de meeste gevallen ga je in op je keuzes in de methodologie, maar ook in de discussie van je onderzoek. Zo geef je bijvoorbeeld aan of er beperkingen waren, waardoor de validiteit en betrouwbaarheid van je onderzoek mogelijk toch lager zijn dan aanvankelijk gedacht werd.
Verschil in argumentatie tussen kwantitatief en kwalitatief onderzoek
Bij kwantitatief onderzoek kun je de betrouwbaarheid aantonen met behulp van statistische toetsen, zoals Cronbach’s alpha en Cohen’s kappa. Bovendien kun je zorgen voor een betrouwbaar onderzoek door een representatieve steekproef samen te stellen.
Bij kwalitatief onderzoek kun je de betrouwbaarheid van je onderzoek enkel beargumenteren. Hierbij beroep je je vaak op je logboek.
Betrouwbaarheid per onderzoeksmethode
- Betrouwbaarheid bij literatuuronderzoek
- Betrouwbaarheid bij een enquête
- Cheatsheet om de validiteit en betrouwbaarheid te waarborgen
Veelgestelde vragen
- Wat is betrouwbaarheid?
-
Bij betrouwbaarheid gaat het om hoe consistent een methode iets meet. Hierbij is het van belang dat de uitkomsten hetzelfde zijn als je de meting of het gehele onderzoek op exact dezelfde wijze nog een keer uitvoert (reproduceert of repliceert).
- Wat zijn willekeurige fouten (random errors)?
-
Willekeurige fouten worden ook wel toevallige fouten genoemd. Des te groter de kans is dat de resultaten uit je onderzoek op toeval berusten, des te lager de betrouwbaarheid van je onderzoek is.
Deze toevallige fouten kun je voorkomen door op een zorgvuldige en consistente wijze te werken en door ervoor te zorgen dat je steekproef groot genoeg is.
- Wat is het verschil tussen validiteit en betrouwbaarheid?
-
Bij validiteit gaat het om het meten wat je beoogt te meten. Bij betrouwbaarheid daarentegen gaat het om de vraag of je onderzoeksresultaten hetzelfde zouden zijn als je het onderzoek op dezelfde wijze nogmaals uitvoert.
Citeer dit Scribbr-artikel
Als je naar deze bron wilt verwijzen, kun je de bronvermelding kopiëren of op “Citeer dit Scribbr-artikel” klikken om de bronvermelding automatisch toe te voegen aan onze gratis Bronnengenerator.
Swaen, B. (2022, 26 augustus). Betrouwbaarheid in je scriptie | Voorkom willekeurige fouten. Scribbr. Geraadpleegd op 23 november 2024, van https://www.scribbr.nl/onderzoeksmethoden/betrouwbaarheid/
