Testen der automatischen Generierung

Systematische Verifikation und Validierung von Artefakten und Prozessen, die durch automatisierte Generierungsverfahren erstellt werden (z. B. automatisch erzeugter Code, Modelle, Konfigurationen, Testfälle oder Daten). Ziel ist es nachzuweisen, dass sowohl die generierten Ergebnisse als auch der Generator (Regeln, Vorlagen, Modelle, Heuristiken) korrekt, vollständig, konsistent, sicher und normkonform sind.

Gegenstand des Testens sind:

• Generierte Artefakte (Produktqualität): Entsprechen sie den Spezifikationen und Nutzungsanforderungen?
• Generierungsprozess/Engine (Prozessqualität): Funktionieren Regeln, Vorlagen und Modelle zuverlässig unter definierten Randbedingungen?

Typische Aktivitäten und Techniken:

• Reviews und statische Analysen gegen Spezifikationen, Schemas und Stil-/Regelwerke.
• Konsistenz-, Konformitäts- und Rückverfolgbarkeitsprüfungen.
• Vergleich gegen Referenz-/Goldstandard (Orakel), Differential Testing, metamorphe Tests bei fehlendem Orakel.
• Messung von Abdeckung (z. B. Regel-/Modellabdeckung) und Mutationsanalysen der Vorlagen/Regeln.
• Stichprobenbasierte dynamische Ausführungstests der generierten Artefakte.

Typische Qualitätskriterien: funktionale Korrektheit und Vollständigkeit, Konformität zu Standards, Wartbarkeit und Lesbarkeit, Performance, Sicherheit/Robustheit, Bias- und Qualitätsaspekte bei Datengenerierung sowie Reproduzierbarkeit.

Abgrenzung: Nicht zu verwechseln mit automatisiertem Testen (Einsatz von Tools zur Testdurchführung). Beim Testen der automatischen Generierung steht die Qualität der automatisch erzeugten Artefakte und des Generators selbst im Fokus.