Wat is een post hoc test?

Een post-hoc test staat voor “post hoc ergo propter hoc” (Latijn voor “na dit, daarom vanwege dit”). Deze test wordt gebruikt in statistiek om specifieke vergelijkingen tussen groepen of steekproeven uit te voeren nadat een ANOVA (Analysis of Variance) of een vergelijkbare analyse een significant verschil tussen ten minste twee groepen heeft aangetoond. Het doel is om te bepalen, welke specifieke groepen van elkaar verschillen als er meerdere groepen zijn.

Post hoc test uitvoeren in 4 stappen

Stel je als voorbeeld voor, dat je medisch onderzoek doet naar de effectiviteit van drie verschillende behandelingen (A, B en C) voor het verminderen van de bloeddruk bij patiënten. Je voert een ANOVA uit en vindt een significant verschil tussen de behandelingen.

Stap 1: Voer ANOVA uit

Stel dat je ANOVA een significant verschil aantoont tussen de behandelingen:

  • F (2,27) =4,5, p=0,02

Stap 2: Voer post-hoc test uit (bijvoorbeeld Tukey-Kramer)

Hier gaan we de Tukey-Kramer post-hoc test gebruiken om specifieke vergelijkingen tussen de behandelingen te maken.

De formule voor de Tukey-Kramer-correctie luidt:

  • q= {Xˉi−Xˉj}/{ MSE⋅(ni/1+nj/1)}

 Stel dat we de volgende gemiddelde bloeddrukniveaus hebben (hypothetische waarden):

  • XˉA=130 voor behandeling A

  • XˉB = 120 voor behandeling B

  • XˉC =135 voor behandeling C

En stel dat de steekproefgroottes gelijk zijn (voor eenvoud): n=10 voor elke behandeling

Stap 3: Bereken de kritieke waarde (q) voor de Tukey-Kramer-test:

  • q= {Xˉi−Xˉj}/{ MSE⋅(ni/1+nj/1)}

Stel dat 15MSE=15 (mean squared error uit ANOVA).

  • Voor de vergelijking A-B: qAB= [130−120]/√ [15⋅ (1/10+1/10) ≈1,82

  • Voor de vergelijking A-C: qAC= [130−135]/√ [15⋅ (1/10+1/10) ≈−1,14

  • Voor de vergelijking B-C: qBC = [120−135]/√ [15⋅ (1/10+1/10)) ≈−2,73

Stap 4: Vergelijk de berekende q-waarden met de kritieke waarde

Als een berekende q-waarde groter is dan de kritieke waarde, verwerp je de nulhypothese en concludeer je dat er een significant verschil is tussen de behandelingen.

Stel de kritieke waarde voor onze hypothetische test op 0,05 is q kritiek =3,08.

  • Voor de vergelijking A-B: ∣1,82∣<3,08, dus geen significant verschil

  • Voor de vergelijking A-C: ∣−1,14∣<3,08, dus geen significant verschil

  • Voor de vergelijking B-C: ∣−2,73∣<3,08, dus geen significant verschil

In dit geval zien we dat er geen significant verschil is tussen de behandelingen, omdat geen van de berekende q-waarden de kritieke waarde overschrijdt.

Belang van post-hoc tests

Post-hoc tests zijn essentieel wanneer ANOVA een significant verschil aangeeft tussen groepen. Ze helpen onderzoekers te identificeren welke specifieke groepen van elkaar verschillen, waardoor een dieper inzicht ontstaat in de aard van het waargenomen verschil. Het is belangrijk op te merken dat het uitvoeren van meerdere vergelijkingen het risico op Type I-fouten vergroot, en daarom zijn correcties zoals de Tukey-Kramer-methode van toepassing om dit risico te beheersen.

Een post-hoc test is met name relevant en noodzakelijk wanneer je een ANOVA (Analysis of Variance) hebt uitgevoerd en significantie hebt gevonden, wat aangeeft dat er ten minste twee groepen zijn die statistisch significant van elkaar verschillen. ANOVA vergelijkt de gemiddelde scores tussen meer dan twee groepen, maar het vertelt je niet welke specifieke groepen van elkaar verschillen. Daarom worden post-hoc tests gebruikt om deze specifieke vergelijkingen te maken.

Voor andere statistische tests, zoals t-toetsen, chi-kwadraattoetsen of regressieanalyses, is het concept van post-hoc tests niet direct van toepassing. Hier zijn enkele overwegingen voor verschillende tests:

T-toetsen (onafhankelijke of gepaarde)

Omdat de Bonferroni-correctie conservatiever is, kan het de kans op het ten onrechte verwerpen van ware effecten vergroten, wat resulteert in een toename van Type II-fouten. De Holm-Bonferroni-methode is over het algemeen minder conservatief en heeft daarom potentieel een lagere kans op Type II-fouten.

Deze test wordt gebruikt voor het onderzoeken van associaties tussen categorische variabelen. Er is geen direct equivalent van een post-hoc test voor de chi-kwadraattoets. Als de test significant is, kun je de oorspronkelijke gegevens inspecteren om patronen te identificeren.

Bij regressieanalyses onderzoek je relaties tussen variabelen. In dit geval worden post-hoc tests niet typisch gebruikt. In plaats daarvan interpreteer je de regressiecoëfficiënten en hun betrouwbaarheidsintervallen.

In het algemeen geldt dat post-hoc tests vooral relevant zijn wanneer je ANOVA hebt uitgevoerd, zoals one-way ANOVA of ANOVA met herhaalde metingen, en hebt vastgesteld dat er statistisch significante verschillen zijn tussen groepen. Het doel is om specifieke vergelijkingen tussen paren van groepen te maken om te bepalen welke groepen van elkaar verschillen.

Verschil MANOVA en ANOVA

Het belang van een post-hoc test is niet beperkt tot ANOVA (Analysis of Variance). Deze test kan ook relevant zijn na MANOVA (Multivariate Analysis of Variance). Beide tests, ANOVA en MANOVA, worden gebruikt wanneer je meerdere groepen wilt vergelijken, maar er zijn enkele belangrijke verschillen tussen ANOVA en MANOVA:

  • ANOVA wordt gebruikt wanneer je één afhankelijke variabele hebt en meerdere onafhankelijke groepen. Het test of er significante verschillen zijn tussen de gemiddelden van deze groepen.

  • MANOVA wordt gebruikt wanneer je meerdere afhankelijke variabelen hebt en meerdere onafhankelijke groepen. Het is een uitbreiding van ANOVA naar meerdere variabelen en onderzoekt of er significante verschillen zijn tussen de gemiddelden van de afhankelijke variabelen voor de verschillende groepen.

Als je MANOVA hebt uitgevoerd en hebt vastgesteld dat er een significant verschil is tussen ten minste twee groepen, kan een post-hoc test nuttig zijn om specifieke informatie te verstrekken over welke groepen van elkaar verschillen op welke afhankelijke variabelen.

Post hoc tests voor MANOVA

Voor MANOVA zijn er verschillende post-hoc tests beschikbaar, zoals de Bonferroni-correctie, de Tukey-Kramer-procedure, of de Scheffé-methode.

Hier is een korte beschrijving van de Bonferroni-correctie, de Tukey-Kramer-procedure en de Scheffé-methode:

1. Bonferroni-correctie

  • Doel: Beheersen van de zogenaamde familie-brede foutenmarge bij het uitvoeren van meerdere vergelijkingen. Dat wil zeggen: het voorkomen van overmatige Type I-fouten bij het uitvoeren van meerdere vergelijkingen en is van belang bij het hanteren van het risico op fouten op het niveau van een groep van tests.

  • Werkwijze: Past het individuele significantieniveau aan door het te delen door het aantal vergelijkingen.

  • Karakteristiek: Conservatief, omdat het de kans op Type I-fouten verkleint.

  • Gebruik: Geschikt wanneer je een klein aantal a priori hypothesen hebt en je de kans op het ten onrechte verwerpen van de nulhypothese wilt minimaliseren.

2. Tukey-Kramer-procedure

  • Doel: Identificeren van specifieke paren van groepen die significant van elkaar verschillen na een ANOVA.

  • Werkwijze: Vergelijkt de gemiddelde verschillen tussen alle mogelijke paren van groepen en past de kritieke waarde aan op basis van het aantal vergelijkingen.

  • Karakteristiek: Minder conservatief dan Bonferroni, waardoor het krachtiger kan zijn.

  • Gebruik: Effectief wanneer je meerdere groepen hebt en je specifieke informatie wilt over welke paren van groepen verschillen.

3. Scheffé-methode

  • Doel: Vergelijkingen maken tussen alle mogelijke paren van groepen na een ANOVA.

  • Werkwijze: Berekent een kritieke waarde die rekening houdt met het aantal groepen en de vrijheidsgraden.

  • Karakteristiek: Minder conservatief dan Bonferroni, maar over het algemeen conservatiever dan Tukey-Kramer.

  • Gebruik: Effectief wanneer je geïnteresseerd bent in alle mogelijke vergelijkingen tussen groepen na een significante ANOVA en bereid bent een iets conservatievere benadering te accepteren.

Elk van deze methoden heeft zijn eigen sterke punten en toepassingsgebieden, dus de keuze tussen Bonferroni, Tukey-Kramer en Scheffé hangt af van de specifieke eisen van je onderzoek en de aard van je gegevens.

Het doel van een post-hoc test na MANOVA blijft vergelijkbaar met hetzelfde doel van een post-hoc test na ANOVA: je wilt specifieke groepen onderscheiden die statistisch significant van elkaar verschillen. Het geeft jou als onderzoeker meer inzicht in de aard van de gevonden verschillen in meerdere variabelen tussen groepen.

Hulp bij statistiek nodig? Schakel een professionele begeleider van Scriptium in

Heb je moeite met statistiek? Wens je hulp te krijgen bij SPSS, STATA of R? Scriptium heeft 7 dagen per week professionele statistiekbegeleiders beschikbaar. Of je nu hulp bij statistiek in je scriptie wilt hebben, of bijles statistiek nodig hebt, we staan direct voor je klaar. Neem vandaag nog contact met ons op, en we komen snel bij je terug.

Auteur: Ryu Jamanota 
Motto: Beter weten door zuiver meten
 

De auteur gebruikt statistiek voor het analyseren van productie- en dienstverleningsprocessen. Aan de hand van statistische analyses onderzoekt hij of een bedrijfsproces langs de kortste weg levert wat er bedoeld is en of het proces ook beheersbaar en betrouwbaar verloopt. 

Laat een reactie achter

Je hebt al gestemd op dit artikel. Bedankt :-)
Wat vind jij van dit artikel?