Systematische Literaturreviews
- identifizieren, bewerten, interpretieren alle relevanten Quellen für spez. Fragestellung --> sekundäre Studie
- Ablauf: Planen (benötigt?, Fragestellung, Reviewprotokoll), Durchführen (Suche, Auswahl, Datenverarbeitung), Veröffentlichen (wer? wo?)
- Gründe: Zusammenfassung, finden von Lücken, neue Vorschläge / Richtungen
- Vorteile: geringe Wsk der Verzerrung, nachvollziehbar, Grundlage für Meta-Analyse
- Nachteile: Zeitaufwand
- Protokoll: spez. Methoden für Review, Suchstrategie, Auswahlkriterien (Aufnahme + Ausschluss), Qualitätsmerkmale (zB. keine Diskussionen)
- Dokumentation der Suche: Datenquelle (Bibliothek, Journal, Konferenz) + Lokator (Name, Titel)
- Gültigkeit: intern: Vorkehrung um Bias vorzubeugen, extern: Ergebnisse auf andere Situationen anwendbar?
A Systematic Review of Software Development Cost Estimation Studies
- 304 Papers (76 Journale(von ~100 relevanten)), April 2004, 5 Klassifizierungsdimensionen, ca. 1 Jahr
- Reviewprozess: nur falls Hauptfokus Kostenschätzung, nur Abstract lesen, Ausschluss: Diskussionen + Meinungsäußerungen + Konferenzen, Schwerpunkt: Forschungsmethode
- Datensammlung: einer klassifiziert, zweiter testet Klassifikation, danach Diskussion + evtl Rekategorisierung
- Ergebnisse:
- 10 Journale beeinhalten 66%, referenzieren meist nicht relevante Paper (am meisten: IEEE TSE)
- Suche bringt nur kleinen Teil der relevanten Paper, 13 Forscher mit Langzeitinteresse,
- am meisten Evaluations- und Schätzungsmethoden unterstucht (allg. Verteilung rel. stabil),
- regressionsbasierte Ansätze dominieren (jedoch mehr analogiebasierte), Hochpunkt 1990s, wenige tiefgehende Studien
- Fazit: Studien ignorieren großen Teil existierender Ergebnisse
- Gültigkeitsbedrohungen
- intern: Publikationsbias: keine Konferenzen (meist praktischer) und Berichte, nicht falls kein Ergebnis, Experimentatoreffekt (Auswahl der Paper)
- extern: nur ein Feld (Software)