Seeding Bugs to Find Bugs
Final Report Abstract
Software-Tests prüfen, ob Software richtig funktioniert: Für eine gegebene Eingabe muss ein Programm das richtige Ergebnis liefern. Wie aber prüft man, ob Tests richtig prüfen? Im DFG-Projekt „Fehler streuen, um Fehler zu finden" haben Dr. Zeller und Dr. Fraser von der Universität des Saarlandes Verfahren entwickelt, die automatisch Fehler in Programme einstreuen, und dann prüfen, ob diese Zufallsfehler von Tests gefunden werden: Wenn der Test zufällig eingestreute Fehler nicht findet, wird er auch echte Fehler verpassen. Die Arbeiten von Dr. Zeller und Dr. Fraser und ihres Doktoranden, Dr. David Schüler, ermöglichten es erstmals, dieses sogenannte Mutationstesten auch auf große Programme wie etwa automatische Übersetzer anzuwenden. Zudem entwickelten sie neuartige Verfahren, um Tests zu generieren, die vollautomatisch Software-Fehler finden - Zufallsfehler wie echte Fehler. Die aus dem Projekt entstandenen Arbeiten haben sowohl das Forschungsgebiet der automatischen Testgenerierung als auch das Gebiet des Mutationstestens nachhaltig beeinflusst, was durch eine große Zahl von Arbeiten belegt wird, die sich auf das Projekt beziehen.
Publications
- 2011. Assessing Oracle Quality with Checked Coverage. In Proceedings of the 2011 Fourth IEEE International Conference on Software Testing, Verification and Validation (ICST 'll). IEEE Computer Society, Washington, DC, USA, 90-99
David Schuler and Andreas Zeller
(See online at https://dx.doi.org/10.1109/ICST.2011.32) - 2011. Breeding High-Impact Mutations. In Proceedings of the 2011 IEEE Fourth International Conference on Software Testing, Verification and Validation Workshops (ICSTW 'll). IEEE Computer Society, Washington, DC, USA, 382-387
Birgit Schwarz, David Schuler und Andreas Zeller
(See online at https://dx.doi.org/10.1109/ICSTW.2011.56) - 2011. Calibrated Mutation Testing. In Proceedings of the 2011 IEEE Fourth International Conference on Software Testing, Verification and Validation Workshops (ICSTW 'll). IEEE Computer Society, Washington, DC, USA, 376-381
Jaechang Nam, David Schuler und Andreas Zeller
(See online at https://dx.doi.org/10.1109/ICSTW.2011.57) - 2011. On parameter tuning in search based software engineering. In Proceedings of the Third international conference on Search based software engineering (SSBSE'll), Myra B. Cohen and Mel Ó Cinnéide (Eds.). Springer-Verlag, Berlin, Heidelberg, 33-47
Andrea Arcuri und Gordon Fraser
- 2012. Mutation-Driven Generation of Unit Tests and Oracles. IEEE Trans. Softw. Eng. 38, 2 (March 2012), 278-292
Gordon Fraser und Andreas Zeller
(See online at https://doi.org/10.1109/TSE.2011.93) - 2012. Sound empirical evidence in software testing. In Proceedings of the 34th International Conference on Software Engineering (ICSE ’12). IEEE Press, Piscataway, NJ, USA, 178-188
Gordon Fraser and Andrea Arcuri
- 2013. Checked Coverage: An Indicator for Oracle Quality. Softw. Test. Verif. Reliab., 23: 531-551
David Schuler und Andreas Zeller
(See online at https://doi.org/10.1002/stvr.1497)
