Scriptium- Posted on
Introductie
Er bestaat veel misvatting over wat betrouwbaarheid en validiteit zijn. Een betrouwbaar onderzoek is niet per definitie valide, en een valide onderzoek hoeft geen betrouwbaar onderzoek te zijn. Bij het schrijven van je scriptie dien je in principe te streven naar een valide én betrouwbaar onderzoek.
Wat is validiteit?
Validiteit, ook wel geldigheid genoemd, zegt iets over de inhoud: wordt er gemeten wat de bedoeling is? Een voorbeeld van een probleem met de validiteit is wanneer een geïnterviewde besluit om sociaal wenselijke antwoorden te geven op je vragen. Dit gaat dan ten koste van de validiteit, omdat je dan niet meet wat je wilt meten. Een ander voorbeeld waarbij de validiteit aangetast wordt, is wanneer er sprake is van een placebo-effect. De resultaten zijn dan vertekend door het geloof van de respondenten of proefpersonen in de behandeling.
Soorten validiteit
Er bestaan verschillende soorten validiteit. Een van de manieren om validiteit te categoriseren is door onderscheid te maken tussen interne en externe validiteit.
Interne validiteit heeft betrekking op de kwaliteit van het onderzoek in de meest brede zin van het woord. Het gaat er dan om of de getrokken conclusie met betrekking tot het onderzochte verband de juiste is, en of het gevonden verband op de juiste manier geïnterpreteerd is. Met andere woorden, of de interpretatie van het causale verband juist is.
Onder externe validiteit wordt verstaan de mate waarin de onderzoeksresultaten generaliseerbaar zijn naar andere situaties of cases dan die van het onderzoek, ofwel de mate waarin ze generaliseerbaar zijn over de gehele populatie. Hiervoor dient de steekproef a-select te zijn.
Een voorbeeld: een onderzoek heeft als doel middels een nieuwe methode de schoolprestaties van alle leerlingen op een middelbare school te verbeteren. Er wordt gebruikgemaakt van een groep jongens uit de brugklas om de methode te testen. De onderzoeksresultaten zijn dan niet representatief voor de hele populatie, omdat meisjes en oudere leerlingen niet in de test zijn opgenomen.
Wat is betrouwbaarheid?
Betrouwbaarheid heeft te maken met de mate waarin een meetinstrument betrouwbare informatie oplevert. Een betrouwbaar onderzoek is vrij van toevallige fouten. Een toevallige fout is een fout die toevallig ontstaat en waarschijnlijk niet zou gebeuren bij herhaling van het onderzoek. Betrouwbaarheid geeft de kans aan dat bij herhaling van het onderzoek dezelfde uitkomst wordt verkregen.
Een voorbeeld van een betrouwbaarheidsprobleem is als er weinig respondenten zijn voor het onderzoek. De kans dat er bij herhaling van hetzelfde onderzoek een ander resultaat uit komt, is dan groter. Een onderzoek is zelden honderd procent betrouwbaar, omdat er bij herhaling van hetzelfde onderzoek altijd wel verschillen zijn.
Bij statistisch onderzoek spreekt men van een betrouwbaarheidspercentage. Bij een betrouwbaarheidspercentage van 90% is er 90% kans dat bij herhaling van het onderzoek dezelfde resultaten worden verkregen. Meestal wordt een betrouwbaarheidsniveau van 95% of 99% aangehouden. Hoeveel respondenten (steekproef) je voor het onderzoek nodig hebt, hangt af van de grootte van de onderzoekspopulatie. Je kunt de steekproefgrootte eenvoudig berekenen met de steekproefcalculator.
Verschil tussen betrouwbaarheid en validiteit
Het verschil tussen betrouwbaarheid en validiteit is simpel uit te leggen aan de hand van het volgende voorbeeld. Stel dat je het gewicht van een kist wilt weten. Je plaatst hem op een weegschaal en de kist blijkt 6,8 kilo te zijn. De dag daarop weeg je de kist opnieuw, maar nu geeft de weegschaal 4,3 kilo aan. Het meetinstrument, de weegschaal, is niet betrouwbaar, en dus ook de resultaten niet. Stel nu dat je het gewicht van deze doos wilde weten, maar een duimstok pakt en de lengte van de kist opmeet. De kist blijkt 1,5 meter te zijn. De volgende dag meet je de kist weer en de lengte blijkt ook nu 1,5 meter te zijn. In dit geval is je onderzoek of meetinstrument betrouwbaar, want de resultaten zijn bij herhaalde meting gelijk. Het is echter niet valide, want je meet niet wat je wilt meten, namelijk het gewicht.
Hoe waarborg je de validiteit in je scriptie?
Hoewel het vaak lastig is om te bewijzen dat een onderzoek valide is, dien je het wel in je scriptie te onderbouwen. De validiteit van je onderzoek kan op verschillende manieren gewaarborgd of vergroot worden. Enkele voorbeelden:
Hoe waarborg je de betrouwbaarheid?
Hieronder volgen enkele voorbeelden van hoe je de betrouwbaarheid van je onderzoek kunt waarborgen en vergroten:
De validiteit en betrouwbaarheid worden doorgaans in het hoofdstuk methode besproken. Vaak zien we ze aan het eind van dat hoofdstuk terug. Soms worden ze ook in het discussiegedeelte behandeld. Het hangt af van de eisen van je opleiding ten aanzien van de opbouw van de scriptie.
Professionele hulp van Scriptium
Heb je moeite met het schrijven van je scriptie? Weet je niet hoe je de validiteit en betrouwbaarheid kunt waarborgen? Bij Scriptium helpen we je graag bij het opstellen van een goed onderzoek. Schakel daarom vandaag nog een professionele begeleider in. Heb je je scriptie al afgeschreven? Laat je scriptie dan nakijken en redigeren op taalfouten, structuur en inhoud. Wij staan 24 uur per dag voor je klaar.
Ik ben bezig met het stukje validiteit van mijn scriptie. Ik vroeg me af of als er meetfouten worden gemaakt, of dat invloed heeft op de validiteit of betrouwbaarheid? Dus of één van die twee wordt verlaagd?
Hallo Vera,
Als er meetfouten zijn gemaakt, kan zowel de validiteit als betrouwbaarheid worden verlaagd Je meet dan niet wat je zou moeten meten (bijvoorbeeld geen goede vragen in de vragenlijst) + de kans dat een andere onderzoeker bij herhaling van het onderzoek andere resultaten zal krijgen, wordt hoger. Dit verlaagt de betrouwbaarheid. In statistische zin heeft de term meetfouten alleen betrekking op betrouwbaarheid.
Ik doe een onderzoek over de invloed van negatief nieuws op de emotionele staat van studenten op mijn faculteit. Ik heb echter maar 20 respondenten tot nu toe en ik moet er 100 hebben. Kun je dan zeggen dat de validiteit ook laag is omdat het aantal respondenten zo weinig is?
Hallo Kaatje,
bedankt voor je vraag. Nee, want je blijft ook bij 20 respondenten meten wat je wilt meten, namelijk het verband tussen negatief nieuws en de gemoedstoestand van studenten. Dus de validiteit blijft hetzelfde. Echter, de kans dat bij vervolgonderzoek een ander resultaat wordt verkregen, bij meer respondenten, wordt groter. Dus alleen de betrouwbaarheid wordt aangetast.
Sorry, maar ik kom er nog steeds niet helemaal uit met betrouwbaarheid. In mijn onderzoek heb ik het volgende: ‘De resultaten bij deze deelvraag zijn betrouwbaar. Er is gebruikgemaakt van een vaste vragenlijst. Zouden de drie managers opnieuw geïnterviewd worden, dan zullen ze vergelijkbare antwoorden geven’. Heb ik dit goed geformuleerd?
Hallo Sem,
Gebruikmaken van een vaste vragenlijst verhoogt de betrouwbaarheid, maar je zou het beter kunnen formuleren, bijvoorbeeld:
Er is gebruikgemaakt van een gestructureerd (of semigestructureerd) interview. Alle geïnterviewden hebben dezelfde interviewvragen gekregen. Dit verhoogt de betrouwbaarheid, omdat bij herhaling van het onderzoek, de kans dat dezelfde resultaten verkregen worden, hoger wordt wanneer gebruik wordt gemaakt van een vaste lijst met vragen.
Betrouwbaarheid in je scriptie kun je ook als volgt begrijpen: je wilt idealiter, vanuit wetenschappelijk oogpunt, dat bij herhaling van een onderzoek steeds dezelfde of ongeveer dezelfde resultaten verkregen worden. Anders zegt het uitvoeren van één onderzoek niet zoveel. Als de resultaten namelijk steeds zouden afwijken, heb je ergens in het design/ontwerp/methode van het onderzoek waarschijnlijk een fout gemaakt. Daarom neem je als onderzoeker dus maatregelen, om de kans te vergroten dat bij herhaling van het onderzoek dezelfde resultaten verkregen worden. 100% dezelfde resultaten zul je echter waarschijnlijk niet krijgen. Of een onderzoek daadwerkelijk betrouwbaar is, kun je eigenlijk vooraf niet met zekerheid zeggen. Je moet het een aantal keren hebben uitgevoerd om te zien of de resultaten daadwerkelijk steeds (ongeveer) dezelfde zijn. Omdat dat in de praktijk te kostbaar wordt en er gaat teveel tijd in zitten, kun je alleen vooraf aangeven: deze waarborgen heb ik/zijn getroffen om de betrouwbaarheid te verhogen, dus om de kans te vergroten dat dezelfde resultaten bij herhaling van het onderzoek worden verkregen. Het gaat dus om de kans daarop, die wil je zo hoog mogelijk maken.
Kunnen jullie nog één keer uitleggen waarom bij saturatie de betrouwbaarheid wordt verhoogd?
Om de betrouwbaarheid echt goed te waarborgen, moet je meestal aangeven wanneer er saturatie was (na hoeveel interviews). Dus: na hoeveel interviews kwam er geen extra nieuwe informatie meer naar boven. Dat is het aantal interviews waarbij de mening van de geïnterviewde doelgroep volledig gerepresenteerd is. Wanneer dit aantal interviews ook bij herhaling van het onderzoek wordt aangehouden, zal de kans groter worden dat dezelfde resultaten worden verkregen, dan wanneer je te weinig interviews houdt (dan kunnen de resultaten steeds verschillen en is de betrouwbaarheid dus laag).
wordt de betrouwbaarheid vergroot als je meerdere vragen over eenzelfde onderwerp stelt?
Ja, ook dan wordt de betrouwbaarheid vergroot (naast de validiteit). Het antwoord dat je krijgt wordt dan mogelijk (iets) completer. Bij herhaling van het onderzoek zul je dan ook meer volledige antwoorden krijgen. De kans dat je dus vergelijkbare resultaten krijgt, is groter, terwijl anders de variatie in resultaten (iets) groter zou kunnen zijn.
Ik ben bezig met het schrijven van mijn scriptie en ik snap heel weinig van het verschil tussen validiteit en betrouwbaarheid van onderzoek. Ik raak echter nog meer in de war, na op jullie website gelezen te hebben dat het geven van sociaal wenselijke antwoorden door respondenten een voorbeeld is van lage validiteit van onderzoek. Echter lees ik op een andere site dat het geven van sociaal wenselijke antwoorden juist een voorbeeld is van lage betrouwbaarheid. Ik wilde jullie hierop wijzen, ook al heb ik geen idee welke van de twee correct is.
Beste Poira,
Bedankt voor je vraag. Het is eigenlijk niet zo moeilijk.
Validiteit betekent: meet je in het huidige onderzoek wat je wilt meten?
Betrouwbaarheid betekent: stel dat je het huidige onderzoek zou herhalen, krijg je dan dezelfde uitkomsten of verschillende uitkomsten? Bij dezelfde of ongeveer dezelfde resultaten is de betrouwbaarheid hoog. Bij verschillende resultaten is er sprake van een lage betrouwbaarheid.
Beide zaken, validiteit en betrouwbaarheid, zijn logischerwijs belangrijke wetenschappelijke criteria voor de kwaliteit van een onderzoek.
Stel, je steekproef is tien personen. Als zij sociaal wenselijke antwoorden geven, dan wil dat zeggen dat zij dus verkeerde antwoorden geven. Je meet dus niet wat je wilt meten/weten.
Stel, je besluit hetzelfde onderzoek te herhalen, met dezelfde steekproef of een andere steekproef (andere respondenten van dezelfde groep). De kans is groot dat je dan opnieuw sociaal wenselijke antwoorden krijgt. De resultaten zijn dus hetzelfde (hoge betrouwbaarheid), maar je meet steeds niet wat je wilt meten (lage validiteit).
Sociaal wenselijke antwoorden verlagen dus de validiteit, maar hebben doorgaans geen invloed op de betrouwbaarheid.