Experimentaufbau

• zielgeführte Datensammlung zum Beantworten der Forschungsfrage
• Gültigkeit (nur quantitative Studien)
  • Wahrheitswert, der in der Studie gemachten Inferenzen
  • nicht alle 4 Typen gleichzeitig erreichbar (inverse Relation zwischen internen und externen Typen)
  • Validität nicht binär
• Konstanz: differenziellen Einfluss von Störvariablen aussachlten (durch statistische Technik, Kontrolltechniken, Versuchsaufbau)

Validitätstypen

• statistische Schlussfolgerung: Kovarianz der unabh. und abh. Variablen
  • Existenz und Kraft der Beziehung ist korrekt (statistisch relevant)
• construct: adequate Repräsentation höhergeordneter Konstrukte der Operation
  • Bedrohungen: inadequate Beschreibung, n Repräsentationen für 1 Operation, Effekte (Novelty, Disruption, Experimentierer), ...
  • Teilnehmerreaktivität: Motive und Tendenzen beeinflussen Situationswahrnehmung und Antworten zur abh. Variable (zB positive Selbstrepräsentation)
  • Experimentierereffekte: Aktionen und Charakteristken des Experimentierers, die die Antwort der Teilnehmer beeinflusst (zB Erwartungen, Attribute (physisch+psychologisch) des Experimentierers)
• intern: kausalen Zusammenhang von unabh. (Ursache) und abh. (Effekt) Variable
  • Auswirkungen auf abh. Variablen B nur durch Variation der unabh. Variablen A ($A \rightarrow B$, keine Störvariablen)
  • benötigte Bed.: Beweis, Ursache geht Effekt voraus, keine alternative plausible Erklärung
  • zus. Bedrohungen: Konstanz, Gleichheit der Gruppe, Regressionsartefakte (nur Auswahl von Extremas), additive/interaktive Effekte (kombinierter Effekt von mehreren Bedrohungen)
  • Historie: externe Einflüsse zwischen Vor- und Nachtest (je länger, desto wahrscheinlicher; zB. durch Gespräche, Artikel)
  • Instrumentierung: Messungsänderungen der abh. Variable mit der Zeit (Ungenauigkeit menschliche Beobachter (zB. Müdigkeit), Experimentator wird genauer / zuverlässiger)
  • Reifung: interne Konstitutionsänderung eines Individuums über die Zeit ohne externen Einfluss (zB. Alter, Müdigkeit, Lernen)
  • Reihenfolge-Effekte: Lerneffekte aufgrund der Aufgabenreihenfolge, Motivationseffekte (vorherige Aufgabe schnell gelöst; Übertragungseffekt)
  • Selektion: ver. Selektionsmethoden für Vergleichgruppen (zB. nach Alter, Geschlecht; Selbstselektion)
  • Sterblichkeit: Verlust von Teilnehmern --> unabh. Variable muss nicht Erklärung sein (wegen Gruppenunterschied)
  • Subjekt-Effekte
    • positive Selbstdarstellung (inter/-intratreatment Interaktion)
    • Glaube an Hypothese --> Bestätigung, kein Glaube an Hypothese --> Widerlegung
  • Experimentator-Effekt: Erwartungen beeinflussen Experimentator (zB. Motivieren der Subjekte, tendenziöse Dateninterpretation)
• extern: kausale Zusammenhang unab. von externen Faktoren (Umgebungen, Zeit, ...) / Verallgemeinerbarkeit
  • Bedrohungen: Population, ökologisch, temporär, Behandlungsvariation, Ergebnis (Verallgemeinerbarkeit über verwandte abh. Variablen)

Kontrolltechniken

• Störvariablen konstant oder eliminiert --> keinen Einfluss
• Randomisierung (= gleiche Chancen, Selektion + Zuweisung) --> Voraussetzung Methode der Differenz (bekannte + unbekannte Variablen werden kontrolliert)
  • Ineffektiv gegen Subjekt- und Experimentator-Effekt (nicht zufällig verteilt)
  • Stichprobe muss repräsentativ sein
  • Problem: externe Variablen trotz gleiche Gruppen
  • Methode der Differenz: Gruppe äquivalent bis auf eine Variable, verursacht diese den Effekt
• Angleichung
  • Problem: beobachtbarer Effekt sehr klein --> Randomisierung zu insensitiv
    • Angleichung erhöht Empfindlichkeit des Experiments
    • kein Ersatz für Randomisierung, sondern Zusatz
  • Nachteile: nur an Matching Variablen gleichgestellt (Lösung: zus. Randomisierung)
  • Variablen konstant halten: restriktiert Gruppengröße, nur generalisierbar für selbe Teilnehmertypen (zB. nur weiblich)
  • externe Variablen einbauen ("blocking"): kontrolliert Matching Variable, für best. Teilgruppen (zB. IQ-Stufen), statistische Kontrolle: Einteilung während Datenanalyse
  • Einschließung der Störvariable: vgl. faktorielles Experiment (Bsp: Intelligenz Störfaktor --> Einteilung nach IQ)
  • yoked: temporäre Sequenz als Basis eines Events
  • Gleichstellen der Teilnehmer
    • Präzisionskontrolle: selektierte Variablen als Paarungsbasis, Paare zufällig verteilen, Probleme: welche Matching Variablen (kleinste Kreuzkorrelation, höchste Korrelation), mehr Variablen --> weniger Matchings, schlecht generalisierbar, manche Matching Variablen schwer messbar
    • Frequenzverteilskontrolle: allgemeine Verteilung der gewählten Variable (zB. Stratifikation), Probleme: Kombinierung evtl. falsch zugeordnet
• Counterbalancing
  • Kontrolle von Sequezenzierungseffekten
    • Kategorisierung: order (auch zB. Zeitpunkt) + carryover (Beeinflussung durch vorherige Schritte)
    • ineffektiv gegenüber differenziellen Carryover Effekten
  • Teilnehmer
    • random: Sequenzfolge zufällig pro Teilnehmer
    • intrasubject: zuerst normale, dann umgekehrte Reihenfolge (falls Steigerung der Bewertung nicht linear --> andere Hälfte der Teilnehmer invertiert)
  • Gruppe
    • complete: alle möglichen Sequenzen zufällig auf Gruppen aufteilen
    • incomplete: nicht alle, jede X gleich oft in jeder Position, jede X muss anderen X vorausgehen und folgen
• Teilnehmereffekte verhindern
  • Double-Blind Placebo Method: Experimentierer + Teilnehmer kennen X nicht, manchmal nicht anwendbar
  • bewusste Irreführung: andere Hypothese vorgeben (besser als keine: sonst eigene Hypothese), ethische Bedenken
  • verborgenes Experiment: Teilnehmer weiß nicht über die Experimentteilnahme, ethische Bedenken
  • Fragebogen: Zweck, Hypothese, Antwortarten + warum, Reaktion anderer
  • Interpretationskontrolle: retrospektive oder gleichzeitige Berichte
• Experimentatoreffekte verhindern
  • Aufnahmefehler: mehrere Beobachter (kennen Experimentierzustand nicht) oder maschinenunterstützt
  • Attributfehler: Konstanthaltung
  • Erwartungsfehler: Blindtechnik: Experimentierer kennt nicht Experimentierzustand, Automatisierung

Aufbau

• Plan, wie Forschungsfrage beantwortet wird + Kontrolle der Störvariablen
• schwach: kontrollieren nicht viele externe Variablen, schlechte interne Validität
• stark: höhere interne Validität, Techniken: Kontrolltechniken + Kontrollgruppen (= Experimentiergruppe ohne X, zum Vergleich + Kontrolle riv. Hypothesen)
• Legende: X (experimentelle Manipulation), O (Messung)
• mehrere Kontrollgruppen --> mehrere spez. Fragestellungen überprüfbar
• Auswahlkriterien: Kontrollgrupee? mehrere Vergleichsgruppen?, Vortest?, mehrere Nachtests?, zwischen oder innerhalb oder beides?, faktoriell?, mehrere abh. Variablen?
• schwacher Aufbau
  • einzelne Gruppe nur Nachtest: kein Vergleich zu wie ohne X, anwendbar: spez. Hintergrundsinfromation bzgl. abh. Variable + andere Studien
  • einzelne Gruppe mit Vor- und Nachtest: unkontrollierte rivalisierende Hypothesen (zB. Zeit, Instrumentation, ...), anwendbar: keine vergleichbare Kontrollgruppe
  • nichtäquivalente Gruppen nur Nachtest: Selektion, anwendbar: Matching (verringert nur Selektionsproblematik)
• starker Aufbau
  • Kontrollgruppe nur Nachtest: kontrolliert interne Validität (gleiche Gruppen), Probleme: Randomisierung !-> perfekte Äquivalenz, fehlender Vortest, evtl. nicht empfindlich genug
    • angeglichen: benutze Matching vor Aufspaltung der Gruppen
  • Kontrollgruppe Vor- und Nachtest: Vortest überprüft Qualität der Randomisierung, zus. Variableneinfluss messen, ceiling effect überprüfen, Kovarianzanalyse (falls abh. Variable leicht anders), emp. Beweis für Änderung, Problem: generalisiert nicht mit ohne Vortest
  • Intrasubjekt nur Nachtest: alle erhalten X, regelmäßige O, selbstkontrollierend, Counterbalancing (sonst Reihenfolgeeffekte)
    • Vorteile: perfekte Angleichung (hohe Empfindlichkeit), weniger Teilnehmer benötigt, Störvariablen (Alter, Geschlecht, Erfahrung) konstant
    • Nachteile: ermüdend, nichtlineare Reihenfolgeeffekte, Einfluss von Reifung + Historie nicht feststellbar
  • Gegenbalanciertes Experiment: zwei X, zwei Datenpunkte pro Teilnehmer, selbe Vorteile
    • Ablauf: Gruppe1: X1 > Y1 > X2 > Y2, Gruppe2: X2 > Y2 > X1 > Y1, vergleiche: g1y1 + g2y1 mit g1y2 + g2y2
    • Folgeeffekt eleminierbar (Unterschied zwischen Behandlung subtrahieren)
• faktorieller Aufbau
  • mehrere unabh. Variablen (separate + gemeinsame Effekte) --> Haupt + Interaktionseffekte (unabh. Variable auf andere unabh. Variable)
    • Haupteffekt: Randmittel pro unab. Variable
    • Interaktionseffekt: eLinienplot der Zelldurchschnitte (7 Fälle, parallel $\Leftrightarrow$ kein Effekt)
  • mixed model: zwischen + innerhalb, weniger Teilnehmer
  • Probleme: #unabh. Variablen praktisch begrenzt, schwerer, higher-order Interaktionen
  • Vorteile: unbekannte Effekte inkludierbar (zB. Mann != Frau ?), interaktive Effekte beobachtbar,
• Quasi-Experiment
  • nicht alle Anforderungen an Versuchsaufbau erfüllt (zB. Randomisierung)
  • Gefährdungen: Selektion, Historie, Reifung
    • Experiment Vor + Nachtest ohne zufällige Zuweisung --> Selektion (ver. starke Änderungen), lokale Historie (Vortest = Nachtest oder ver. starke Änderungen) beobachtbar
    • kein Selektionseffekt: Vortest schlecht, Nachtest besser bei Versuchsgruppe