Alphafehler Korrektur
Führt man mehrere Tests durch in Form von mehreren t-Tests, post-hoc test nach einer ANOVA oder innerhalb einer multiplen Regression stellt sich die Frage, ob es sinnvoll ist für Alphafehler-Kumulierung zu kontrollieren. Dafür ist wichtig zu verstehen das es zwei Alphafehler gibt, den des einzelnen Tests (αE) und den der Testgruppe (αG). Dabei ist es auch bei multiplen Testen möglich, dass αE = αG, dann muss der Alphafehler nicht korrigiert werden.
Wann ist das der Fall? Wenn wir die Hypothese aufstellen, das Jelly Beans Akne verursachen und dann jede Farbe von Jelly Beans testen, könnten wir drei verschiedene Nullhypothesen aufstellen.
1. Jelly Beans verursachen keine Akne, wenn nur eine der Jelly Bean Farben Akne nicht signifikant erhöht (Conjunction testing).
2. Jelly Bean Farbe XY verursacht keine Akne, wenn die Farbe XY Akne nicht signifikant erhöht (individual testing).
3. Jelly Beans verursach keine Akne, wenn alle Jelly Bean Farben Akne nicht signifikant erhöhen (Disjunction testing).
In Fall 1 gibt es nur einen einzigen Fall in dem die Null Hypothese verworfen werden kann und zwar dann, wenn alle Farben Akne signifikant zu einer Kontrollgruppe erhöhen. Daher ist hier αE = αG.
In Fall 2 wird nur eine einzelne Farbe betrachtet und nur ein einzelner Test unabhängig von dem Ausgang der anderen Farbtest für die Beurteilung der Hypothese verwendet, daher ist auch hier αE = αG.
In Fall 3 ist das allerdings anders, da es hier verschiedenste Möglichkeiten gäbe die Nullhypothese zu verwerfen, da sie nur angenommen würde, wenn keine der Farben einen signifikanten Unterschied machen würde. Andersherum würde die Alternativhypothese immer angenommen, so lange auch nur eine Farbe einen signifikanten Zusammenhang mit Akne zeigt. Hier wäre also αE < αG.
Bei multiplen Regressionen werden auch mehrere Tests durchgeführt, und in manchen Fällen macht es Sinn, auch hier für multiples Testen zu korrigieren. Ein wichtiger Unterschied ist, ob:
A) die Theorie nur den Effekt eines einzelnen, wichtigen Prädiktors betrachtet und dabei ggf. Kontrollvariablen als weitere Prädiktoren mit aufgenommen werden.
B) die Theorie den Effekt verschiedener relevanter Prädiktoren betrachtet, die nicht einfach nur Kontrollvariablen sind.
Nur in letzterem Fall ist es sinnvoll, überhaupt über Alpha-Fehler-Korrektur nachzudenken. Einen detaillierten Überblick über verschiedene Prozeduren und wann sie überhaupt sinnvoll anwendbar sind im letzteren Szenario gibt das Paper „Multiplicity in multiple Regression…“.
Anderson, S. F. (2023). Multiplicity in multiple regression: Defining the issue, evaluating solutions, and integrating perspectives. Psychological Methods, 28(6), 1223–1241. https://doi.org/10.1037/met0000457