Qualitätsassessment
Nachdem das Screening der Volltexte abgeschlossen ist, sind die gefundenen Studien hinsichtlich ihrer Qualität zu prüfen. Dafür gibt es verschiedene Instrumente, die in der Forschung etabliert sind. Für die Ermittlung der Qualität von RCTs eignet sich z.B. die Psychotherapy Quality Rating Scale (PQRS) mit insgesamt 25 Items. Die Methode ist von der American Psychiatric Association mit dem Ziel eine standardisierte Methode der Qualitätsüberprüfung einzuführen (Kocsis et al., 2010). Die Skala ist explizit für Psychotherapie Studien entwickelt und hat gute psychometrische Eigenschaft in Bezug auf die interne Konsistenz und externe Validität gezeigt (Trotta et al., 2024).
Des Weiteren ist bei RCTs zu überprüfen, ob ein Verzerrungsrisiko vorliegt. Dafür eignet sich das weit verbreitete „Cochrane risk of Bias Tool“ (Sterne et al., 2019), welches mögliche Verzerrungen durch den Prozess der Randomisierung, die Zuweisung zur Intervention, fehlende Ergebnisdaten, die Messmethode und eine selektive Ergebnisdarstellung anschaut. Die Studien werden für jede Domäne und insgesamt anhand der Skala „low risk of bias“, „some concerns“ und „high risk of bias“ bewertet. Das Instrument gibt konkrete Vorgaben für das Einsortieren.
Bei naturalistischen Studien muss ein anderes Instrument angewendet werden. Das National Institute for Health Research hat verschiedene Instrumente entwickelt, um die interne Validität einer Studie zu prüfen. Das „Quality Assessment Tool for Observational Cohort and Cross-Sectional Studies” eignet sich für die Bewertung von naturalistischen Studien. Dabei erfolgt die Bewertung anhand von 14 Kriterien z.B. inwiefern die Forschungsfrage verständlich ist, ob die Messzeitpunkte sinnvoll gewählt wurden oder ob die Ergebnismessung valide ist (National Heart, Lung and Blood Institute, o. J.).
Kocsis, J. H., Gerber, A. J., Milrod, B., Roose, S. P., Barber, J., Thase, M. E., ... & Leon, A. C. (2010). A new scale for assessing the quality of randomized clinical trials of psychotherapy. Comprehensive psychiatry, 51(3), 319-324.
National Heart, Lung and Blood Institute, N. (o. J.). Study Quality Assessment Tools | NHLBI, NIH. Abgerufen 18. Mai 2025, von https://www.nhlbi.nih.gov/health-topics/study-quality-assessment-tools.
Sterne, J. A. C., Savović, J., Page, M. J., Elbers, R. G., Blencowe, N. S., Boutron, I., Cates, C. J., Cheng, H.-Y., Corbett, M. S., Eldridge, S. M., Emberson, J. R., Hernán, M. A., Hopewell, S., Hróbjartsson, A., Junqueira, D. R., Jüni, P., Kirkham, J. J., Lasserson, T., Li, T., … Higgins, J. P. T. (2019). RoB 2: A revised tool for assessing risk of bias in randomised trials. BMJ, 366, l4898. https://doi.org/10.1136/bmj.l4898
Trotta A, Gerber AJ, Rost F, Robertson S, Shmueli A and Perelberg RJ (2024) The efficacy of psychodynamic psychotherapy for young adults: a systematic review and meta-analysis. Front. Psychol. 15:1366032. doi: 10.3389/fpsyg.2024.1366032