Post-hoc-t-Tests und Kontraste, Alphafehler-Korrektur

Kontraste werden verwendet, um Hypothesen über spezifische Gruppenunterschiede zu testen, wenn man beispielsweise eine Interaktion erwartet und auch über das Mittelwertsmuster, das zu der Interaktion führt, eine konkrete Hypothese hat (in einem 2x2 Design z.B. nicht nur "es gibt eine Interaktion" sondern "In Kombination A1B1 ist die aV höher als in den Kombinationen A1B2, A2B1 und A2B2, während die anderen sich nicht unterscheiden"). 

Wenn man unabhängige Kontraste testen möchte, kann man genau einen Kontrast weniger testen, als es Zellen im ANOVA Design gibt. In dem Beispiel von eben könnte man also A1B1 gegen alle anderen Zellen testen und anschließend noch A1B2 gegen A2B2 und A2B1 gegen A2B2. Oft erübrigt sich eine ANOVA auch, wenn man seine Hypothesen schon vollständig als Kontraste formulieren kann. 

Post-hoc t-Tests werden verwendet, um das Mittelwertsmuster bei signifikanten Haupteffekten von Faktoren mit mehr als zwei Stufen oder Interaktionseffekten explorativ genauer zu bestimmen. Dazu vergleicht man einfach alle entsprechenden Faktorstufen mit einem t-Test, oder, bei sehr komplexen ANOVA-Designs, mit einer "kleineren" ANOVA. Dabei ist es aufgrund des multiplen Testens ratsam, das Alphaniveau zu korrigieren, zum Beispiel mit der Bonferroni-Holm-Korrektur oder mit der false detection rate (FDR) Methode. Die klassische Bonferronikorrektur gilt als zu konservativ und wird nicht empfohlen (siehe z.B. Perneger, 1998). Diese und einige weitere Methoden zur Alphafehlerkorrektur sind in R über die Funktion p.adjust() verfügbar.