LE 5 - Gütekriterien der Forschung

1. Empirische Fundierung:

   • Basis auf systematisch erhobenen und überprüfbaren Daten (empirischen Beobachtungen oder Experimenten)

2. Replizierbarkeit/Einsatz wissenschaftlicher Methoden und Techniken:

   • Ergebnisse müssen von anderen Forschern unter denselben Bedingungen (Methoden und Techniken) reproduzierbar sein (Validität und Reliabilität)

3. Falsifizierbarkeit/ Orientierung an Wissenschafts- und Forschungsethik:

   • Möglichkeit der Widerlegung von Theorien und Hypothesen

   • Forschungsprozess muss ethnischen Regeln folgen

4. Intersubjektive Nachvollziehbarkeit:

   • Methoden und Ergebnisse müssen verständlich und nachvollziehbar für andere Forscher sein.

   • Förderung von Transparenz und kritischer Überprüfung

—> wenn alle Standards erfüllt —> Studie ist wissenschaftlich

1. Empirische Fundierung

• Wissenschaft:

  • Erkenntnisse basieren auf systematisch erhobenen, überprüfbaren und objektiven Daten

  • Validierung von Theorien durch empirische Beobachtungen und Experimente

• Parawissenschaft:

  • Erkenntnisse könnten empirische Daten nutzen, sind jedoch oft nicht ausreichend überprüfbar oder systematisch erhoben

  • empirische Bezug ist schwächer ausgeprägt

• Pseudowissenschaft:

  • Behauptungen und Theorien sind häufig nicht durch empirische Daten gestützt

  • Basis auf anekdotischen Beweisen oder persönlichen Erfahrungen

• Nicht-Wissenschaft:

  • Bezug auf Bereiche ohne empirische Fundierung, z. B. Kunst, Religion oder persönliche Überzeugungen —> keine wissenschaftliche Methodik

2. Replizierbarkeit

• Wissenschaft:

  • Reproduzierbarkeit der Ergebnisse durch andere Forscher gegeben —> Validität gesichert

• Parawissenschaft:

  • Dokumentation der Ergebnisse und Methoden oft nicht vorhanden —> keine Replikation möglich

• Pseudowissenschaft:

  • Häufige Falschaussagen über die Replizierbarkeit oder die Verwendung von Methoden, die nicht reproduzierbar sind. Ergebnisse werden oft nicht überprüfbar präsentiert.

• Nicht-Wissenschaft:

  • Replizierbarkeit ist irrelevant, da es sich um subjektive oder kreative Bereiche handelt.

3. Falsifizierbarkeit

• Wissenschaft:

  • Theorien und Hypothesen müssen so formuliert sein, dass sie prinzipiell widerlegbar sind. Empirische Daten sollten die Möglichkeit bieten, die Theorie zu falsifizieren.

• Parawissenschaft:

  • Theorien sind oft so vage oder flexibel formuliert, dass sie nicht falsifiziert werden können. Dies kann zu einer unkritischen Akzeptanz führen.

• Pseudowissenschaft:

  • Behauptungen sind häufig nicht falsifizierbar. Es werden oft Beweise herangezogen, die die Hypothesen unterstützen, während gegenteilige Beweise ignoriert werden.

• Nicht-Wissenschaft:

  • Falsifizierbarkeit ist nicht anwendbar, da es sich um Bereiche handelt, die keine empirische Überprüfung erfordern.

4. Intersubjektive Nachvollziehbarkeit

• Wissenschaft:

  • Methoden und Ergebnisse müssen für andere Forscher verständlich und nachvollziehbar sein, um eine kritische Überprüfung zu ermöglichen. Es gibt einen Konsens über die verwendeten Methoden.

• Parawissenschaft:

  • Ergebnisse sind oft nicht klar oder transparent dokumentiert. Die Nachvollziehbarkeit für Außenstehende ist eingeschränkt.

• Pseudowissenschaft:

  • Behauptungen werden häufig auf eine Weise präsentiert, die nur für Anhänger oder Eingeweihte nachvollziehbar ist, während kritische Überprüfung oder Transparenz fehlt.

• Nicht-Wissenschaft:

  • Subjektive Erfahrungen oder kreative Ausdrucksformen sind nicht für eine intersubjektive Überprüfung gedacht und erfordern keine Nachvollziehbarkeit im wissenschaftlichen Sinne.

1. Inhaltliche Relevanz

• Forschungsfrage behandelt relevantes wissenschaftliches Forschungsproblem

• Grundlagenforschung —> wissenschaftliche Relevanz

  • Inwieweit wird wissenschaftlicher Kenntnisstand erweitert

• Anwendungsforschung —> praktische Relevanz

  • Ableitung von möglichst konkreten Handlungsempfehlungen

  • Lösung von Praxisproblemen, Optimierung von Maßnahmen, Verbesserung von gesellschaftlichen Verhältnissen

1. Methodische Strenge

• Wahl von anspruchsvollen und aussagekräftigen Methodologien und Methoden

• Umsetzung der methodischen Aspekte der Studie sind stringent, regelgetreu und unverzerrt

• Unteraspekte der methodischen Strenge stark voneinander abhängig

• Methodische Strenge in Grundlagenforschung wichtiger als in Anwendungsforschung

1. Ethische Strenge

• Erfüllung von Standards der Wissenschafts- und Forschungsethik besonders umfassend

• Verletzung haben rechtliche Konsequenzen für Forschenden

1. Präsentationsqualität

• Hohe Präsentationsqualität durch

  • Vollständigkeit, Gewichtung und Strukturierung -

  • Lesbarkeit des sprachlichen Stils

  • Anschaulichkeit der verwendeten Grafiken

• Dient Verständnis bei Zielgruppen —> theoretische und praktische Nutzbarkeit

1. Inhaltliche Relevanz

• Sicherstellen, dass die Ergebnisse zur Erweiterung des Wissens und zur Lösung realer Probleme beitragen

2. Methodische Strenge

• Gewährleistung der Validität und Reliabilität der Ergebnisse, um Verzerrungen und systematische Fehler zu vermeiden.

3. Ethische Strenge

• Schutz der Rechte und des Wohlergehens der Teilnehmer sowie Gewährleistung der Integrität der Forschung.

4. Präsentationsqualität

• Ermöglichung der Nachvollziehbarkeit und kritischen Überprüfung durch andere Forscher und die Öffentlichkeit.

1. Inhaltliche Relevanz

• Wissenschaftliche Relevanz

  • In Grundlagenforschung —> Wissenschaftliche/theoretische Relevanz muss gegeben sein

• Praktische Relevanz

  • In Anwendungsforschung/Evaluationsforschung —> Entwicklung von Fragestellung mit hoher praktischer Relevanz

• In Rücksprache mit Auftraggebern, Betroffenen, weiteren Anspruchsgruppen

1. Methodische Strenge

• Konstruktvalidität

  • Hohe Repräsentation der interessierenden theoretischen Konstrukte durch die verwendeten Messinstrumente (abhängige Variablen) und hergestellten Untersuchungsbedingungen (unabhängige Variablen)

  • Abhängig von Qualität der Theoriearbeit und Operationalisierung

• Interne Validität

  • Untersuchten Variablenzusammenhänge = kausale Ursache-Wirkungs- Relationen à gewonnene Erkenntnisse sind intern valide  

  • Abhängig von Qualität des Untersuchungsdesigns (experimentelle Studien, Quasi-experimentelle Studien, Vorexperimentelle Studien)

• Externe Validität

  • Verallgemeinerung der Ergebnisse (Maßnahmen und Wirkung) auf andere Orte, Zeiten, Wirkvariablen, Treatmentbedingungen oder Personen als die in der Studie

  • Abhängig von Qualität des Untersuchungsdesigns und Stichprobenziehung

• Statistische Validität

  • Abhängig von Qualität der statistischen Datenanalyse und untersuchungsplanerische Aspekte

  • Nachweis über Signifikanz und Aufweisen von theoretische/praktische relevanten Effektgrößen durch korrekt durchgeführte deskriptive- und inferenzstatische Analysen

• Validität = Grad der Gültigkeit wissenschaftlicher Aussagen

1. Ethische Strenge

• Forschungsethik

  • Teilnehmende an Studie —> Dürfen nicht durch Studie beeinträchtigt/geschädigt werden

    —> Müssen über Modalitäten der Datenerhebung informiert werden + Einverständnis erklären

• Wissenschaftsethik

  • Keine Überinterpretationen

  • Grenzen der Aussagekraft müssen ausdrücklich benannt werden

  • Korrekte Zitation der Vorarbeiten

  • Nennung aller Mitautorinnen und Sponsorinnen

1. Präsentationsqualität

• Nachvollziehbarkeit und Lesbarkeit der Studie in Ablauf und Ergebnissen

• Einhaltung der konkreten fach- und zeitschriftenspezifischen Standards der Berichterstattung

• Gütekriterien qualitativer Forschung: 

  • Verfahrensdokumentation

  • Argumentative Interpretationsabsicherung

  • Regelgeleitetheit

    • Einhaltung festgelegter, methodischer Regeln

    • Dokumentation de Forschungsprozess

  • Nähe zum Gegenstand

    • Direkter Kontakt mit dem Untersuchungsgegenstand (z. B. Interviews, Beobachtungen).

    • Tiefgehendes Verständnis des Phänomens aus Sicht der Beteiligten.

    • Kontextbezogenheit

  • Erhöhung der Validität

    • Erhöhung Validität der Forschungsergebnisse

      • —> Verwendung verschiedener Methoden, Datenquellen und Eergenisvergleichen zur Erhöhung der Validität

      • Feedback- Kultur und Einbezug der Befragten

      • Transparenz bei Dokumentation

  • Objektivität und Reliabilität

    • Vermeidung von Verzerrungen

    • Sicherung Konsistenz der Erkenntnisse

    • Objektivität

    • Reliabilität

  • Interne / externe Validität 

    • interne Validität

      • Widerspieglung der gewollten ERgebisse

    • externe Validität

      • Übertragung auf andere Kontexte, Populationen usw. möglich

      • Repräsentativität der Stichprobe

Bei qualitativen Forschungsmethoden ist das Qualitätskriterium Repräsentativität nicht gegeben.

• Suche nach verbindlichen Qualitätsstandards bei zunehmender Anerkennung des qualitativen Forschungsansatzes

• Kriterien der quantitativen Forschung folgen komplett anderem wissenschaftstheoretischen Paradigma

• Abgrenzung von guten zu weniger guten qualitativen Studien

• Klassische Gütekriterien (Validität, Reliabilität usw.) haben in qualitativer Forschung keinen Sinn —> neue eigene Gütekriterien müssen gefunden werden

• Gütekriterien müssen für Methoden angemessen sein

• Kriterienpool und -auswahl mittlerweile sehr groß (nicht alle wissenschaftlich gut)

• Frage, ob qualitative Forschung aufgrund von Komplexität überhaupt einheitliche Kriterien gelten können

• Kompletter Verzicht auf Qualitätsmerkmale der qualitativen Forschung nicht vertretbar im Sinne der Wissenschaftlichkeit