Systematische Literaturreviews

  • identifizieren, bewerten, interpretieren alle relevanten Quellen für spez. Fragestellung --> sekundäre Studie
  • Ablauf: Planen (benötigt?, Fragestellung, Reviewprotokoll), Durchführen (Suche, Auswahl, Datenverarbeitung), Veröffentlichen (wer? wo?)
  • Gründe: Zusammenfassung, finden von Lücken, neue Vorschläge / Richtungen
  • Vorteile: geringe Wsk der Verzerrung, nachvollziehbar, Grundlage für Meta-Analyse
  • Nachteile: Zeitaufwand
  • Protokoll: spez. Methoden für Review, Suchstrategie, Auswahlkriterien (Aufnahme + Ausschluss), Qualitätsmerkmale (zB. keine Diskussionen)
  • Dokumentation der Suche: Datenquelle (Bibliothek, Journal, Konferenz) + Lokator (Name, Titel)
  • Gültigkeit: intern: Vorkehrung um Bias vorzubeugen, extern: Ergebnisse auf andere Situationen anwendbar?

A Systematic Review of Software Development Cost Estimation Studies

  • 304 Papers (76 Journale(von ~100 relevanten)), April 2004, 5 Klassifizierungsdimensionen, ca. 1 Jahr
  • Reviewprozess: nur falls Hauptfokus Kostenschätzung, nur Abstract lesen, Ausschluss: Diskussionen + Meinungsäußerungen + Konferenzen, Schwerpunkt: Forschungsmethode
  • Datensammlung: einer klassifiziert, zweiter testet Klassifikation, danach Diskussion + evtl Rekategorisierung
  • Ergebnisse:
    • 10 Journale beeinhalten 66%, referenzieren meist nicht relevante Paper (am meisten: IEEE TSE)
    • Suche bringt nur kleinen Teil der relevanten Paper, 13 Forscher mit Langzeitinteresse,
    • am meisten Evaluations- und Schätzungsmethoden unterstucht (allg. Verteilung rel. stabil),
    • regressionsbasierte Ansätze dominieren (jedoch mehr analogiebasierte), Hochpunkt 1990s, wenige tiefgehende Studien
    • Fazit: Studien ignorieren großen Teil existierender Ergebnisse
  • Gültigkeitsbedrohungen
    • intern: Publikationsbias: keine Konferenzen (meist praktischer) und Berichte, nicht falls kein Ergebnis, Experimentatoreffekt (Auswahl der Paper)
    • extern: nur ein Feld (Software)