Een introductie tot quasi-experimenteel onderzoek

Een quasi-experiment heeft net als een echt experiment het doel om een oorzaak-gevolgrelatie tussen een onafhankelijke en afhankelijke variabele aan te tonen.

In tegenstelling tot bij een echt experiment worden de participanten bij een quasi-experiment niet willekeurig over groepen verdeeld (geen randomisatie). In plaats daarvan worden participanten toegewezen aan groepen op basis van niet-willekeurige criteria.

Quasi-experimenteel onderzoek is heel geschikt als een echt experiment vanwege ethische of praktische redenen niet mogelijk is.

Verschillen tussen quasi-experimenten en echte experimenten

Er zijn enkele verschillen tussen echte experimentele designs en quasi-experimentele designs.

Voorbeeld: Echt experiment versus een quasi-experiment

In dit geval zou het kunnen voorkomen dat de directie van de ggz-instelling geen toestemming geeft om patiënten willekeurig over twee groepen te verdelen (om ethische redenen). Hierdoor kun je geen echt experiment uitvoeren, dus je kiest voor het alternatief: een quasi-experimenteel design.

Verschillende soorten quasi-experimentele designs

Er bestaan veel soorten quasi-experimentele designs. In dit artikel bespreken we drie van de meest voorkomende soorten: nonequivalent groups design, regressie-discontinuïteit (regression discontinuity), en natuurlijke experimenten (natural experiments).

Nonequivalent groups design

Bij een nonequivalent groups design kiest de onderzoeker bestaande groepen die op elkaar lijken, maar waarbij slechts een van de groepen de experimentele conditie (zoals een behandeling) ervaart.

Bij een echt experiment met randomisatie zijn de controlegroep en de experimentele groep op alle manieren gelijkwaardig, op het ontvangen van de behandeling na. Bij een quasi-experimenteel design kan het voorkomen dat de groepen niet alleen verschillen wat betreft de experimentele behandeling, maar ook op andere manieren. Het zijn dus ongelijke groepen (nonequivalent groups).

Bij dit type design proberen onderzoekers de invloed van storende variabelen (confounding variables) te beperken door voor deze variabelen te controleren in de analyse (of door zo gelijk mogelijke groepen te kiezen).

Een nonequivalent groups design is het meest voorkomende quasi-experimentele design.

Regressie-discontinuïteit (regression discontinuity)

Veel potentiële behandelingen die onderzoekers willen bestuderen, zijn ontworpen rond een willekeurige drempel, waarbij degenen boven de drempel de behandeling krijgen en degenen eronder niet.

In de buurt van deze drempel zijn de verschillen tussen de twee groepen vaak zo minimaal dat ze bijna niet bestaan (want ze scoren bijna hetzelfde). Daarom kunnen onderzoekers individuen net onder de drempel gebruiken als controlegroep en die net daarboven als behandelingsgroep (of net andersom).

Natuurlijke experimenten (natural experiments)

Bij zowel laboratorium- als veldexperimenten bepalen onderzoekers normaal gesproken aan welke groep de proefpersonen worden toegewezen. Bij een natuurlijk experiment resulteert een externe gebeurtenis of situatie (“natuur”) in de (semi-)willekeurige toewijzing van proefpersonen aan de behandelgroep.

Hoewel soms gebruik wordt gemaakt van randomisatie in natuurlijke experimenten, worden ze niet gezien als echte experimenten, omdat de experimenten observatief van aard zijn.

Hoewel de onderzoekers geen controle hebben over de onafhankelijke variabele, kunnen ze deze gebeurtenis achteraf benutten om het effect van de behandeling te bestuderen.

Wanneer gebruik je een quasi-experimenteel design?

Hoewel echte experimenten een hogere interne validiteit hebben dan quasi-experimenten, kun je soms voor een quasi-experimenteel design kiezen vanwege ethische of praktische redenen.

Ethisch

Soms zou het onethisch zijn om willekeurig een behandeling te geven of juist geen behandeling te geven. Dan is een echt experiment niet haalbaar. In die gevallen kan een quasi-experiment worden gekozen om dezelfde causale relatie te onderzoeken zonder de ethische problemen.

De Oregon Health Study is een goed voorbeeld van zo’n quasi-experiment. Het zou onethisch zijn om sommige mensen willekeurig een ziektekostenverzekering te verstrekken, maar te voorkomen dat anderen deze ontvangen, enkel en alleen omdat je een experiment wilt uitvoeren.

Aangezien de regering van Oregon te maken had met financiële beperkingen en besloot de plaatsen voor een ziektekostenverzekering via een loterij te vullen, is het achteraf onderzoeken van deze gebeurtenis een ethisch verantwoorde benadering om hetzelfde probleem te bestuderen.

Praktisch

Een echt experimenteel ontwerp kan onhaalbaar zijn of simpelweg te duur, vooral voor onderzoekers die weinig financiële middelen hebben (zoals studenten die een scriptie schrijven).

Het kan ook te veel tijd kosten om voldoende participanten te werven en een goede experimentele interventie te bedenken voor een representatieve steekproef, waardoor een echt experiment niet haalbaar is.

In beide gevallen kun je met een quasi-experimenteel design je onderzoeksvraag onderzoeken door gebruik te maken van gegevens die eerder zijn verzameld door anderen (vaak de overheid).

Voordelen en nadelen

Quasi-experimenteel onderzoek gaat – net als ieder ander type onderzoek – gepaard met voor- en nadelen.

• Hogere externe validiteit dan de meeste echte experimenten, omdat vaak echte interventies worden ingezet in plaats van “kunstmatige” interventies in een laboratoriumsetting.
• Hogere interne validiteit dan andere, niet-experimentele onderzoeksmethoden, omdat je met quasi-experimenteel onderzoek beter kunt controleren voor storende variabelen dan met andere soorten onderzoek.

• Lagere interne validiteit dan echte experimenten, omdat het zonder randomisatie moeilijk is om aan te tonen dat je resultaten alleen het gevolg kunnen zijn van de interventie (en niet van andere factoren).
• Als gebruik wordt gemaakt van al bestaande gegevens, kunnen deze onnauwkeurig, onvolledig of moeilijk toegankelijk zijn, omdat ze met een ander doel zijn verzameld.

Veelgestelde vragen

Wat is een quasi-experimenteel design?

Met een quasi-experimenteel design probeer je een oorzaak-gevolgrelatie vast te stellen. Het belangrijkste verschil met een echt experiment is dat de participanten niet willekeurig worden verdeeld over controlegroepen en experimentele groepen. Er is dus geen sprake van randomisatie.

Wanneer gebruik je randomisatie in experimenteel onderzoek?

Randomisatie wordt gebruikt bij experimenten met een between-subjects design. Bij zulke designs is er meestal sprake van een controlegroep en een of meerdere experimentele groepen. Randomisatie zorgt ervoor dat de groepen vergelijkbaar zijn aan het begin van het onderzoek.

Over het algemeen gebruik je altijd randomisatie bij dit type experimenteel onderzoek, mits het bij het onderwerp van je onderzoek past en het ethisch is.

Hoe pas je randomisatie toe om participanten over groepen te verdelen?

Als je gebruik wilt maken van randomisatie, ken je ieder lid van de steekproef een nummer toe.

Vervolgens gebruik je bijvoorbeeld een random number generator om ieder nummer willekeurig toe te wijzen aan een controlegroep of experimentele groep. Je kunt ook andere methoden gebruiken, zoals de loterijmethode, het opgooien van een muntje, of de dobbelsteenmethode.

Wat is randomisatie in experimenteel onderzoek?

Bij experimenteel onderzoek is randomisatie een manier om participanten uit je steekproef over verschillende groepen te verdelen. Door deze methode te gebruiken, heeft ieder lid van de steekproef een even grote kans om in een controlegroep of experimentele groep te worden geplaatst.

Hoe maak je een experimenteel design?

Een experimenteel design bestaat uit een set procedures om relaties tussen variabelen te onderzoeken. Om een gecontroleerd experiment (randomized controlled trial, RCT) te ontwerpen, heb je het volgende nodig:

• Een toetsbare hypothese;
• Minstens één onafhankelijke variabele die je nauwkeurig kunt manipuleren;
• Minstens één afhankelijke variabele die je nauwkeurig kunt meten.

Als je het experiment ontwerpt, beslis je:

• Hoe je de variabele(n) manipuleert;
• Hoe je controleert voor mogelijke externe variabelen;
• Hoeveel participanten of gevallen je meeneemt in je onderzoek;
• Hoe je je participanten verdeelt over de experimentele condities

Het design van je experiment is essentieel voor de interne en externe validiteit van je resultaten.

Wat is het verschil tussen een experimentele groep en een controlegroep?

Participanten die tot de experimentele groep behoren krijgen een of meerdere experimentele condities aangeboden, terwijl participanten in de controlegroep geen enkele experimentele conditie aangeboden krijgen. Zo kun je controleren welk effect optreedt als je niets manipuleert. De samenstelling van de experimentele groep moet zo gelijk mogelijk zijn aan die van de controlegroep.

Je wilt onderzoeken welke voorleesmethode beter werkt om kinderen nieuwe woorden te leren. Daarom ontwerp je een experiment met drie groepen:

• Groep 1 wordt interactief voorgelezen (eerste experimentele groep)
• Groep 2 wordt passief voorgelezen (tweede experimentele groep)
• Groep 3 wordt helemaal niet voorgelezen (controlegroep)

Groep 3 krijgt geen enkele experimentele conditie of manipulatie aangeboden, waardoor je kunt onderzoeken hoeveel nieuwe woorden kinderen zouden aanleren zonder voorgelezen te worden. Het zou bijvoorbeeld kunnen voorkomen dat beide voorleesmethoden niet voor een toename in het aantal geleerde woorden zorgen.