Call for Papers

Testen von Model-to-Code-Tools mit drei Methoden ( Vortrag )

Equivalence Classes, Error Guessing oder Random Testing?

Referent: Dr. Martin Wildmoser, Validas AG
Vortragsreihe: Test & Qualität
Zeit: 01.12.16 14:45-15:25

Zielgruppe

Tester

Themenbereiche

Test & Qualitätssicherung

Schwerpunkt

Methode

Voraussetzungen

Keine

Kurzfassung

Fehler in Model-to-Code Tools können systematische Fehler in die damit entwickelte Software injizieren. Die Sicherheitsnorm ISO 26262 fordert daher, dass das Vertrauen in solche Werkzeuge über Maßnahmen wie z.B. einer Tool-Validierung gerechtfertigt wird. Die Validas AG hat über 10 Jahre hinweg verschiedene Model-to-Code Tools validiert und dabei vorwiegend eine Kombination von 3 Testentwurfsmethoden eingesetzt: Equivalence Classes, Random Testing und Error Guessing. Über diese drei Methoden wurden eine Vielzahl von Fehlern in Codegeneratoren für Simulink, Stateflow und Embedded MATLAB und C-Compilern entdeckt. Über eine systematische Auswertung der gefundenen Fehler vergleichen wir die drei genannten Testentwurfsmethoden untereinander bezüglich Effektivität und Effizienz. Die dabei gewonnen Kennzahlen resultieren aus realen Tools und Projekten und liefern damit einen Beitrag zur fundierten Einschätzung der drei Testentwurfsmethoden bei Anwendung auf Model-to-Code Tools.

Gliederung

1) Ziele:
- Evaluierung von 3 Testmethoden bezüglich Effektivität und Effizienz
- Analyse auf Basis realer Daten aus mehrjährigen Industrieprojekten
2) Testentwurfsmethoden:
a) Equivalence Classes
b) Random Testing
c) Error Guessing
3) Vergleichsmethodik
4) Ergebnisse:
- Anzahl gefundener Fehler pro Testmethode (einzeln und gemeinsam)
- Unterschiede in den gefundenen Fehlern

Nutzen und Besonderheiten

Die Testentwurfsmethoden "Equivalence Classes", "Error Guessing" und "Random Testing" sind in der Industrie weit verbreitet. Der Vortrag leistet einen Beitrag zur genaueren Einschätzung von Effektivität und Effizienz dieser drei Testmethoden bei Anwendung auf modellbasierte Entwicklungswerkzeuge und möglicherweise auch für andere Testobjekte mit komplexer und hochgradig strukturierter Eingabedomäne.

Über den Referenten

- Promovierter Informatiker - 10 Jahre Erfahrung mit Prozessen, Methoden und Tools zur Entwicklung und Qualitätssicherung von sicherheitsrelevanter Automotive SW