Scriptium- Posted on
Hoe meet je de effectgrootte?
Een effect is een gevolg van een gebeurtenis of een reactie op een situatie. Als onderzoeker wil je weten of zo’n verband een reden heeft of niet meer is dan toeval. Als het verband meer dan toeval is, kan een theorie of vermoeden worden bevestigd. Afhankelijk van je studie of vakgebied, beschrijf je een mogelijke verklaring voor een bepaald verschijnsel. Je zoekt in je onderzoek naar een oorzaak of naar een gevolg. Technisch spreek je van een functionele relatie van x met y. Dat wordt genoteerd als f(x)= y.
De X kan een populatiekenmerk zijn of een parameter van een onafhankelijke variabele en een afhankelijke variabele. Als iets verandert in variabele X, heeft dat een gevolg voor Y. Als Y in een situatie ‘X’ komt, verandert er iets in Y. Als er niets verandert in Y, of als Y niet significant verandert door X, is er waarschijnlijk (bijna) geen effect.
Wanneer je onderzoek doet, wil je weten of er wel of geen effect is. Als het kan wil je ook weten wat de effectgrootte is. Is er een verband, en hoe sterk is dat verband? Is dat het rapporteren waard? Je wilt dan weten of er een significant verband is tussen X en Y en of dat verband ook relevant is. Immers, als een steekproef groot genoeg is en als het verwerpingsgebied klein genoeg is, dan volgen uit statistische analyses al snel significante uitslagen. Of die dan ook een groot of sterk effect betekenen, is een volgende vraag.
Het principe van effectmeting
Je kunt kenmerken van een populatie observeren of een experiment houden met een experimentele groep en een controlegroep in een gecontroleerde steekproef. Statistisch wil je in beide gevallen weten of de feitelijke waarden voor Y significant afwijken van de neutraal verwachte waarden (expected values) voor Y.
Vaak worden toetsende statistieken gebruikt om te weten of er een significant verband is. De gedachte daarachter is dat als uit een statistische toets blijkt dat de waarden van Y significant worden beïnvloed door X, dat dus:
De effectgrootte is dan praktisch relevant.
Inferentiële en schattende statistieken
Bij het doen van onderzoek moet vaak bepaald worden welk theoretisch probleem of onderzoeksdoel in welke onderzoeksvorm (experimental design) wenselijk of mogelijk is. Daarnaast dient bepaald te worden welke statistische analyse of inferentiële statistieken zijn toegestaan. Je kijkt dan naar het meetniveau van de data dat een voorwaarde is voor het gebruiken van een bepaalde techniek. Vaak wordt vereist dat de data een normaalverdeling hebben, dat de populatie normaal verdeeld is. Welke techniek je gebruikt bepaalt ook welke soort conclusies je kunt trekken op basis van de onderzoeksresultaten.
Het maakt bij het bepalen ervan bijvoorbeeld veel uit of je een nieuw vaccin op de markt wilt brengen dat goedgekeurd zal gaan worden na onderzoek onder 2500 proefpersonen, of dat je een onderzoek doet voor een krant onder 6 musea naar de nieuwswaarde van museumtentoonstellingen over schilderkunst in de 20e eeuw.
In veel gevallen wil je rapporteren óf er een effect is, en of dat effect een relevante grootte heeft. Daarmee streef je zowel naar significantie als naar de grootte van het effect van de onderzochte variabelen op elkaar.
Effectgrootte en keuze van statistische technieken
Hieronder lees je voorbeelden van veelgebruikte én eenvoudig uit te voeren statistische technieken. Deze zijn bedoeld voor de analyse van cijfermatige data. Het moet wel heel vreemd zijn als er voor jouw vraagstuk géén analysetechniek blijkt te bestaan. Hoe complexer je onderzoeksopzet is, des te beter is het om de hulp van een methodoloog in te roepen.
Voor het overzicht wordt per techniek niet te diep op de theorie en berekeningswijzen ingegaan. De verkenning van statistische methoden voor verschillende effectvragen is hier belangrijker dan de wiskundige onderbouwing en stapsgewijze uitleg. Algemeen wordt uitgegaan van een aselecte steekproef uit een normaal verdeelde populatie.
Voor het bepalen van een effect of effectgrootte kun je werken met:
Daarnaast vind je in onderzoeksverslagen vaak voor een effectgrootte of de voorspellende waarde verwijzingen naar: Factoranalyse of principale componenten analyse; Kendal’s Tau, Spearman’s Rank-correlatie; R2; Cohen’s D; Cronbach’s Alfa; Kolmogorov-Smirnoff-tests. Te veel om hier allemaal door te nemen.
Variantieanalyse: Anova en Manova
Met variantieanalyse zoek je naar een verklaring voor de variantie in de scores op een afhankelijke variabele als gevolg van één of meer onafhankelijke variabelen. Het kan gaan om één of meer onafhankelijke variabelen (bijvoorbeeld een behandeling of een cursus) en één of meer afhankelijke variabelen.
Gewone hypothesetoets van verschil en Students' T-toets van verschil
Grote steekproef
Met een gewone hypothesetoets zoek je naar een significant verschil tussen de ene en de andere statistische waarde. Dat kan bijvoorbeeld gaan om verschillen in sportresultaten als gevolg van uren slaap per dag. Als de Y-waarden op de afhankelijke variabele significant afwijken van de P-waarde (de te verwachten uitslag), dan is er sprake van een effect. Je werkt dan met grote steekproeven (boven minimaal n=30) en normaal verdeelde uitslagen. Er wordt dan bekeken of het gevonden steekproefgemiddelde boven kans is, dan wel toegeschreven kan worden aan toeval. De hypothese ziet er zo uit:
Nulhypothese is: H0: µ = µ0
Alternatieve hypothese is: Ha: µ = µa
Voor de kritische waarde voor het steekproefgemiddelde (M=), of voor een bepaalde individuele testuitslag, bereken je de gestandaardiseerde waarde: een zogenaamde z-waarde. Van deze waarde zoek je in een goed tabellenboek de plaats van deze z-waarde in de kansverdeling op. Onder je waarde voor z= vind je onder F(z) de plaats in de cumulatieve normaalverdeling. Dan geldt als beslissende regel: “If P is low, hypothesis must go”.
Erg kleine steekproef
Als de steekproef duidelijk kleiner is dan n=30, dan werk je met Student’s T-toets van verschil. Het principe blijft voor beide verschiltoetsen hetzelfde: toetsen of er een belangrijk verschil is tussen de statistische verwachte waarden en de daadwerkelijk gevonden waarden van de parameter. Anders gezegd: of een verschil in de waarden aan toeval kan worden toegeschreven (hoge P waarde) of dat er sprake is van een verschil dat flink boven kans blijkt te zijn. Is er dus een effect óf weinig/geen effect?
Chi-kwadraat (χ2) analyse of de F toets
Soms ben je minder geïnteresseerd in de overeenkomst in de gemiddelde waarde, maar wil je juist weten of er een significant verschil is in de steekproefvariantie. Je zoekt dan naar een Chi-kwadraat (χ2) analyse of de F toets.
Chi-kwadraat (χ2): als je wilt weten hoe homogeen een bepaalde populatie is, ga je bepalen of de gemiddelde afwijking van het gemiddelde significant afwijkt van wat je volgens de kansverdeling zou verwachten.
Voorbeeld Chi-kwadraat
Als voorbeeld kun je denken aan een onderzoek naar het nut van het bindend studieadvies. Is deze voor de hele groep studenten wel relevant? Een groep studenten krijgt speciale voorlichting over hoe belangrijk een positief studieadvies is voor de verdere studie. De controlegroep krijgt niets meer dan de standaardinformatie.
Aan het einde van het studiejaar vertonen beide groepen ongeveer hetzelfde gemiddelde aan studiepunten. De steekproefvariantie (Bijvoorbeeld: s2 = 126) van de experimentele groep wijkt wel af van de variantie (bijvoorbeeld: s2 = 100) van de controlegroep. De school wil weten of het voorlichtingsprogramma voor iedereen even effectief is: voor de experimentele en de controlegroep. Dus: of er weinig gemiddelde afwijking van het gemiddelde is. Daarom wordt met een Chi-kwadraat (χ2) analyse getoetst of er sprake is van één homogene groep studenten, waarbij het niet uitmaakt of je wel of niet de speciale voorlichting hebt gekregen, of dat er een grotere variantie is in de experimentele groep. Met andere woorden: of de voorlichting weinig effect heeft, óf dat de verscheidenheid van de experimentele groep significant afwijkt. In ons voorbeeld dus of een s2 = 126 een verwaarloosbare afwijking is óf boven kans afwijkt van de controlegroep.
Als notatie in een hypothese wil je dan weten:
H0: σ2 = 100 en Ha: σ2 ≠ 100
F toets
De F toets: als je geïnteresseerd bent in het verschil op een bepaald kenmerk tussen twee populaties, zoek je naar een significant verschil in de varianties op een bepaald kenmerk van die twee populaties. Je hypothese ziet er dan uit als:
H0: σ21 = σ22
H0: σ21 ≠ σ22
Je gebruikt dan een toets aan de F-distributie. Daarin toets je of de verhouding tussen de grootste en de kleinste steekproefvariantie meer dan alleen toeval kan zijn. Je neemt dan s21 als de teller en s22 als de noemer. Dit wordt genoteerd als: f(F)= s21/s22
Deze toetsende statistieken gebruik je om te zien of er wel of geen effect is. Daarnaast bestaan er maten om te bezien hoe groot dat effect is. De volgende technieken laten zien hoe groot dat effect is, áls er al een effect is.
Regressieanalyse en meervoudige regressieanalyse
Met een regressieanalyse bereken je uit een bekende waarde voor X de te verwachten waarde (predictive value) voor Y. Of je bekijkt – nadat je Y hebt gemeten – hoe sterk het effect van X is op Y. Het principe van een regressieanalyse is door een set data ofwel een puntenwolk van gevonden waarden (scatterplot) een wiskundige lijn berekenen. Dat is dan de lijn die het beste tussen de punten van de wolk doorloopt. Je krijgt dan de wiskundige lineaire vergelijking: f(x): ax+b = y
Als je die regressievergelijking hebt gevonden, kun je voor volgende waarden van X schatten hoe groot Y zal zijn. Zo kun je op een consultatiebureau aan jonge moeders een indicatie geven van hoe zwaar en hoe lang hun kind over drie en zes maanden zal zijn. Andersom kun je bepalen hoe sterk die lijn een relatie teruglegt van Y naar X (regressie is een stap teruggaan). Helpt het voor je studie Geneeskunde om vooraf een instroomcursus Latijn te doen? Kan je een studieresultaat in de propedeusefase terugvoeren op het eindexamencijfer op de middelbare school? Ofwel: heeft X wel effect op Y? Is een effect Y te verklaren door de waarde van X?
Pearsons correlatiecoëfficiënt
Als je wilt weten hoe sterk de samenhang is tussen de x-waarden en de y-waarden (hoe sterk het voorspellend effect is van de regressievergelijking), zoek je met een Pearsons correlatiecoëfficiënt naar een effectgrootte.
Met Pearsons correlatiecoëfficiënt bereken je het getalsmatige verband tussen twee onafhankelijke variabelen, of tussen een afhankelijke en een onafhankelijke variabele. Of tussen twee onafhankelijke variabelen die op zich niets met elkaar te maken hebben.
Het maakt voor de berekening niet uit of X per se samenhangt met Y of dat dit twee losse, evenwaardige variabelen zijn. Denk daarbij aan het verband tussen lichaamsgewicht en haarkleur: niemand gaat meer wegen van rood haar. Het mag ook gaan om variabelen die mogelijk wel samenhangen. Meestal hebben bijvoorbeeld lengte en wijdte van een spijkerbroek samen te maken met hoe groot de drager is. Het kan ook gaan om variabelen die alleen in de tijd met elkaar samenhangen: het aantal vogeleitjes in mei heeft weinig van doen met het aantal verkochte damesrokjes. Er is in dit geval een verband, maar geen causaal verband.
Als je Pearsons correlatiecoëfficiënt berekent over de twee waarden voor x en voor y uit de regressievergelijking, dan vind je één van de volgende zaken:
Zo vind je of er sprake is van een gezamenlijk of tegengesteld optreden van variabele X en Y, én je vindt of de ‘voorspellende’ waarde van X een sterk verband heeft met Y. Dus: of X effect heeft én hoe groot dat effect is.
Hulp bij statistiek nodig? Schakel een professionele begeleider van Scriptium in
Heb je moeite met statistiek? Wens je hulp te krijgen bij SPSS, STATA of R? Scriptium heeft 7 dagen per week professionele statistiekbegeleiders beschikbaar. Of je nu hulp bij statistiek in je scriptie wilt hebben, of bijles statistiek nodig hebt, we staan direct voor je klaar. Neem vandaag nog contact met ons op, en we komen snel bij je terug.
De auteur gebruikt statistiek voor het analyseren van productie- en dienstverleningsprocessen. Aan de hand van statistische analyses onderzoekt hij of een bedrijfsproces langs de kortste weg levert wat er bedoeld is en of het proces ook beheersbaar en betrouwbaar verloopt.
