Blogbeitrag:

Komplexe Systeme erfordern neue Methoden – Teil 3: MAPS im Vergleich zu “konventionellen” Tests

Komplexe Systeme erfordern neue Methoden – Teil 3: MAPS im Vergleich zu “konventionellen” Tests

Im ersten Blogbeitrag stellten wir das Testverfahren MAPS (Model-Based Development of Active and Passive Safety Systems) vor. In Teil 2 „Der Test eines Airbag-Controllers mit MAPS“ wurde ein konkretes Anwendungsbeispiel erläutert. Es handelt sich dabei um den ersten Einsatz von MAPS bei Continental. Der dritte Teil befasst sich mit den Ergebnissen der Expertenbefragungen, welche die Technische Hochschule Ingolstadt im Anschluss an das Testprojekt durchführte.
Zur Erinnerung: MAPS ist ein Testframework, welches die Vorteile des modellbasierten Testens, der Testautomatisierung und der Testdurchführung in virtueller Fahrumgebung kombiniert. Die Tests werden zunächst modelliert, dann mit Hilfe der sepp.med MBTsuite generiert und verwaltet und schließlich durch den IPG CarMaker durchgeführt. CarMaker ist ein Werkzeug für virtuelle Fahrversuche in welchem neben manöverbasierten Tests auch vollständige Fahrzeugsimulationen automatisch umgesetzt werden können.
Logos
Der erste Test mit MAPS erfolgte an einem realen Produkt: einem Airbag-Controller von Continental. Der Test des Airbag-Controllers zeichnete sich durch seine hohe Komplexität aus, da eine Vielzahl interner Systemzustände in Kombination mit unterschiedlichen externen Umgebungssituationen geprüft werden müssen.
AA1 Teil 3
Abbildung 1: Kombination der internen Systemzustände mit unterschiedlichen externen Umgebungssituationen
Um die Wirksamkeit des neuen Testverfahrens zu belegen, verglich die TH Ingolstadt die modellbasierten Tests in simulierter Umgebung mit dem zuvor bei Continental praktizierten „konventionellen“ Testverfahren. Dazu mussten Testexperten aus beiden „Lagern“ eine Reihe von Aspekten auf einer Skala von 1 bis 5 bewerten, wobei 5 das beste Ergebnis war (= sehr gut). Die Aspekte lassen sich in sechs Kategorien gruppieren.

  1. Änderungen
  2. Team
  3. Dokumentation
  4. Testabdeckung
  5. Lernkurve
  6. limitierende Faktoren

Der erste Punkt umfasst Fragen zu Anzahl und Aufwand von Änderungen im Test, die entweder durch Fehler im Test oder durch Änderungen im zu testenden System verursacht werden. In der Kategorie „Team“ wurde die Anzahl der Tester, der Aufwand für Modellierung und Verbesserungen sowie das erforderliches Knowhow bzw. die erforderliche Erfahrung bewertet. Zur Dokumentation zählten Fragen zur Dokumentation der einzelnen Testfälle, dem Automatisierungspotential sowie der Durchgängigkeit und Wartbarkeit der Tests. Testabdeckung befasst sich mit verschiedenen Coverage-Metriken und deren Erfüllungsgrad durch den Test. Zur Lernkurve gehören die Einarbeitungsaufwände, aber auch Wiederverwendbarkeit, Automatisierung und Integration in bestehende Systeme. Limitierende Faktoren sind menschlich und maschinell bedingt (Performance, Speicherplatz).
AA2 Teil 3
Abbildung 2: Auswertung der Expertenbefragung (Zusammenfassung)
Wie die Abbildung zeigt, schnitt der modellbasierte Ansatz mit MAPS in allen Kategorien mit Ausnahme der Dokumentation besser ab als der konventionelle Ansatz. Das schlechtere Ergebnis in der Kategorie „Dokumentation“ ist interessanterweise auf eine leicht schlechtere Bewertung der Aspekte „Dokumentation einzelner Testfälle“ und „Wartbarkeit“ zurück zu führen, die in beiden Fällen mit neutral statt mit gut bewertet wurden. Besonders frappierend ist die Diskrepanz jedoch im Bereich der Testabdeckung. Im guten Ergebnis für MAPS spiegelt sich deutlich der Gewinn an Testqualität wider.
Erfahren Sie mehr über die detaillierte Auswertung der Expertenbefragung in „Teil 4 – Experten bewerten MAPS“.
Lesen Sie hier den ersten Teil: Komplexe Systeme erfordern neue Methoden – Teil 1: Das neue Testverfahren MAPS weist den Weg aus der Kostenfalle. 
Lesen Sie hier den zweiten Teil: Komplexe Systeme erfordern neue Methoden – Teil 2: Der Test eines Airbag-Controllers mit MAPS
Anne Kramer_farbig_transparenz

Dr. Anne Kramer
IT-Projektleiterin &
Senior Consultant

Print Friendly, PDF & Email

Schlagwörter

Neuste Beiträge

Teile diesen Beitrag:

Share on facebook
Share on linkedin
Share on twitter
Share on xing
Share on whatsapp
Share on google
Share on email
Share on print

Blog per E-Mail folgen

Klicke hier, um diesem Blog zu folgen und Benachrichtigungen über neue Beiträge per E-Mail zu erhalten. 

Besuchen Sie uns online:

RSS Feed

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert.

Teile diesen Beitrag:

Share on facebook
Share on linkedin
Share on twitter
Share on xing
Share on whatsapp
Share on google
Share on email
Share on print