LE 5 - Gütekriterien der Forschung

1. Empirische Fundierung:

   • Basierung auf systematisch erhobenen und überprüfbaren Daten.

   • Theorien werden durch empirische Beobachtungen oder Experimente gestützt

   • Einordnung des gewählten Forschungsproblems in bestehenden wissenschaftlichen Forschungs- und Publikationskontext

2. Replizierbarkeit/Einsatz wissenschaftlicher Methoden und Techniken:

   • Ergebnisse müssen von anderen Forschern unter denselben Bedingungen (Methoden und Techniken) reproduzierbar sein

   • Gewährleistung der Zuverlässigkeit und Validität der Methoden

3. Falsifizierbarkeit/ Orientierung an Wissenschafts- und Forschungsethik:

   • Theorien und Hypothesen müssen prinzipiell widerlegbar sein.

   • Möglichkeit, empirische Daten zu finden, die den Vorhersagen widersprechen

   • Forschungsprozess muss ethnischen Regeln folgen

4. Intersubjektive Nachvollziehbarkeit:

   • Methoden und Ergebnisse müssen verständlich und nachvollziehbar für andere Forscher sein.

   • Förderung von Transparenz und kritischer Überprüfung

   • detaillierte Bschreigungen und Begründungen des Forschungsproblems/gewählter Methoden/ethischer Aspekte

—> wenn alle Standards erfüllt —> Studie ist wissenschaftlich

1. Empirische Fundierung

• Wissenschaft:

  • Erkenntnisse basieren auf systematisch erhobenen, überprüfbaren und objektiven Daten

  • Validierung von Theorien durch empirische Beobachtungen und Experimente

• Parawissenschaft:

  • Erkenntnisse könnten empirische Daten nutzen, sind jedoch oft nicht ausreichend überprüfbar oder systematisch erhoben

  • empirische Bezug ist schwächer ausgeprägt

• Pseudowissenschaft:

  • Behauptungen und Theorien sind häufig nicht durch empirische Daten gestützt

  • Basis auf anekdotischen Beweisen oder persönlichen Erfahrungen

• Nicht-Wissenschaft:

  • Bezug auf Bereiche ohne empirische Fundierung, z. B. Kunst, Religion oder persönliche Überzeugungen —> keine wissenschaftliche Methodik

2. Replizierbarkeit

• Wissenschaft:

  • Reproduzierbarkeit der Ergebnisse durch andere Forscher gegeben —> Validität gesichert

• Parawissenschaft:

  • Dokumentation der Ergebnisse und Methoden oft nicht vorhanden —> keine Replikation möglich

• Pseudowissenschaft:

  • Häufige Falschaussagen über die Replizierbarkeit oder die Verwendung von Methoden, die nicht reproduzierbar sind. Ergebnisse werden oft nicht überprüfbar präsentiert.

• Nicht-Wissenschaft:

  • Replizierbarkeit ist irrelevant, da es sich um subjektive oder kreative Bereiche handelt.

3. Falsifizierbarkeit

• Wissenschaft:

  • Theorien und Hypothesen müssen so formuliert sein, dass sie prinzipiell widerlegbar sind. Empirische Daten sollten die Möglichkeit bieten, die Theorie zu falsifizieren.

• Parawissenschaft:

  • Theorien sind oft so vage oder flexibel formuliert, dass sie nicht falsifiziert werden können. Dies kann zu einer unkritischen Akzeptanz führen.

• Pseudowissenschaft:

  • Behauptungen sind häufig nicht falsifizierbar. Es werden oft Beweise herangezogen, die die Hypothesen unterstützen, während gegenteilige Beweise ignoriert werden.

• Nicht-Wissenschaft:

  • Falsifizierbarkeit ist nicht anwendbar, da es sich um Bereiche handelt, die keine empirische Überprüfung erfordern.

4. Intersubjektive Nachvollziehbarkeit

• Wissenschaft:

  • Methoden und Ergebnisse müssen für andere Forscher verständlich und nachvollziehbar sein, um eine kritische Überprüfung zu ermöglichen. Es gibt einen Konsens über die verwendeten Methoden.

• Parawissenschaft:

  • Ergebnisse sind oft nicht klar oder transparent dokumentiert. Die Nachvollziehbarkeit für Außenstehende ist eingeschränkt.

• Pseudowissenschaft:

  • Behauptungen werden häufig auf eine Weise präsentiert, die nur für Anhänger oder Eingeweihte nachvollziehbar ist, während kritische Überprüfung oder Transparenz fehlt.

• Nicht-Wissenschaft:

  • Subjektive Erfahrungen oder kreative Ausdrucksformen sind nicht für eine intersubjektive Überprüfung gedacht und erfordern keine Nachvollziehbarkeit im wissenschaftlichen Sinne.

1. Inhaltliche Relevanz

• Forschungsfrage behandelt relevantes wissenschaftliches Forschungsproblem

• Grundlagenforschung à wissenschaftliche Relevanz

  • Inwieweit wird wissenschaftlicher Kenntnisstand erweitert

• Anwendungsforschung à praktische Relevanz

  • Ableitung von möglichst konkreten Handlungsempfehlungen

  • Lösung von Praxisproblemen, Optimierung von Maßnahmen, Verbesserung von gesellschaftlichen Verhältnissen

1. Methodische Strenge

• Wahl von anspruchsvollen und aussagekräftigen Methodologien und Methoden

• Umsetzung der methodischen Aspekte der Studie sind stringent, regelgetreu und unverzerrt

• Unteraspekte der methodischen Strenge stark voneinander abhängig

• Methodische Strenge in Grundlagenforschung wichtiger als in Anwendungsforschung

1. Ethische Strenge

• Erfüllung von Standards der Wissenschafts- und Forschungsethik besonders umfassend

• Verletzung haben rechtliche Konsequenzen für Forschenden

1. Präsentationsqualität

• Hohe Präsentationsqualität durch

  • Vollständigkeit, Gewichtung und Strukturierung -

  • Lesbarkeit des sprachlichen Stils

  • Anschaulichkeit der verwendeten Grafiken

• Dient Verständnis bei Zielgruppen à theoretische und praktische Nutzbarkeit

1. Inhaltliche Relevanz

• Definition:

  • Die Forschung sollte wichtige und relevante Fragestellungen adressieren, die für das Fachgebiet oder die Praxis von Bedeutung sind.

• Zweck:

  • Sicherstellen, dass die Ergebnisse zur Erweiterung des Wissens und zur Lösung realer Probleme beitragen.

2. Methodische Strenge

• Definition:

  • Anwendung strenger und angemessener wissenschaftlicher Methoden zur Datenerhebung und -analyse.

• Zweck:

  • Gewährleistung der Validität und Reliabilität der Ergebnisse, um Verzerrungen und systematische Fehler zu vermeiden.

3. Ethische Strenge

• Definition:

  • Einhaltung ethischer Richtlinien und Standards bei der Forschung, insbesondere im Umgang mit Probanden.

• Zweck:

  • Schutz der Rechte und des Wohlergehens der Teilnehmer sowie Gewährleistung der Integrität der Forschung.

4. Präsentationsqualität

• Definition:

  • Klare, strukturierte und verständliche Darstellung der Forschungsergebnisse und -methoden.

• Zweck:

  • Ermöglichung der Nachvollziehbarkeit und kritischen Überprüfung durch andere Forscher und die Öffentlichkeit.

1. Inhaltliche Relevanz

• Wissenschaftliche Relevanz

  • In Grundlagenforschung —> Wissenschaftliche/theoretische Relevanz muss gegeben sein

• Praktische Relevanz

  • In Anwendungsforschung/Evaluationsforschung —> Entwicklung von Fragestellung mit hoher praktischer Relevanz

• In Rücksprache mit Auftraggebern, Betroffenen, weiteren Anspruchsgruppen

1. Methodische Strenge

• Konstruktvalidität

  • Hohe Repräsentation der interessierenden theoretischen Konstrukte durch die verwendeten Messinstrumente (abhängige Variablen) und hergestellten Untersuchungsbedingungen (unabhängige Variablen)

  • Abhängig von Qualität der Theoriearbeit und Operationalisierung

• Interne Validität

  • Untersuchten Variablenzusammenhänge = kausale Ursache-Wirkungs- Relationen à gewonnene Erkenntnisse sind intern valide  

  • Abhängig von Qualität des Untersuchungsdesigns (experimentelle Studien, Quasi-experimentelle Studien, Vorexperimentelle Studien)

• Externe Validität

  • Verallgemeinerung der Ergebnisse (Maßnahmen und Wirkung) auf andere Orte, Zeiten, Wirkvariablen, Treatmentbedingungen oder Personen als die in der Studie

  • Abhängig von Qualität des Untersuchungsdesigns und Stichprobenziehung

• Statistische Validität

  • Abhängig von Qualität der statistischen Datenanalyse und untersuchungsplanerische Aspekte

  • Nachweis über Signifikanz und Aufweisen von theoretische/praktische relevanten Effektgrößen durch korrekt durchgeführte deskriptive- und inferenzstatische Analysen

• Validität = Grad der Gültigkeit wissenschaftlicher Aussagen

1. Ethische Strenge

• Forschungsethik

  • Teilnehmende an Studie —> Dürfen nicht durch Studie beeinträchtigt/geschädigt werden

    —> Müssen über Modalitäten der Datenerhebung informiert werden + Einverständnis erklären

• Wissenschaftsethik

  • Keine Überinterpretationen

  • Grenzen der Aussagekraft müssen ausdrücklich benannt werden

  • Korrekte Zitation der Vorarbeiten

  • Nennung aller Mitautorinnen und Sponsorinnen

1. Präsentationsqualität

• Nachvollziehbarkeit und Lesbarkeit der Studie in Ablauf und Ergebnissen

• Einhaltung der konkreten fach- und zeitschriftenspezifischen Standards der Berichterstattung

• Suche nach verbindlichen Qualitätsstandards bei zunehmender Anerkennung des qualitativen Forschungsansatzes

• Kriterien der quantitativen Forschung folgen komplett anderem wissenschaftstheoretischen Paradigma

• Abgrenzung von guten zu weniger guten qualitativen Studien

• Klassische Gütekriterien (Validität, Reliabilität usw.) haben in qualitativer Forschung keinen Sinn à neue eigene Gütekriterien müssen gefunden werden

• Gütekriterien müssen für Methoden angemessen sein

• Kriterienpool und -auswahl mittlerweile sehr groß (nicht alle wissenschaftlich gut)

• Frage, ob qualitative Forschung aufgrund von Komplexität überhaupt Einheitliche Kriterien gelten können

• Kompletter Verzicht auf Qualitätsmerkmale der qualitativen Forschung nicht vertretbar im Sinne der Wissenschaftlichkeit