01 [L] Grundlagen des Testens

1. Evaluieren von Arbeitsergeabnissen wie Anforderungen, User Storys, Entwürfe und Code

2. Auslösen von Fehlerwirkungen und Finden von Fehlerzuständen

3. Sicherstellen der erforderlichen Überdeckung eines Testobjekts

4. Verringern des Risikos einer unzureichenden Softwarequalität

5. Verifizieren, ob spezifizierte Anforderungen erfüllt wurden

6. Verifizieren, ob ein Testobjekt den vertraglichen, rechtlichen und regulatorischen Anforderungen entspricht

7. Bereitstellen von Informationen für die Stakeholder, damit diese fundierte Entscheidungen treffen können

8. Aufbauen von Vertrauen in die Qualität des Testobjekts

9. Validieren, ob das Testobjekt vollständig ist und aus Sicht der Stakeholder wie erwartet funktioniert.

1. Das zu testende Arbeitsergebnis

2. Die Teststufe

3. Risiken

4. Der Softwareentwicklungslebenszyklus

5. Faktoren im Zusammenhang mit dem geschäftlichen Kontext, z.B.

   1. die Unternehmensstruktur

   2. Wettbewerbserwägungen

   3. die Zeit bis zur Markteinführung.

Dynamisch:

• Fehlerwirkungen, die durch Fehlerzustände in der Software verursacht werden

Statisch

•  Direkt Fehlerzustände im Testobjekt finden

Ziel: Die Ursachen für die Fehlerwirkung (die Fehlerzustände) zu finden, diese zu analysieren und zu beseitigen. Schritte_

1. Reproduzieren einer Fehlerwirkung

2. Diagnose (Finden der Grundursache)

3. Behebung der Ursache

4. Fehlernachtests, Regressionstests

Ziel: Beseitigen des Fehlerzustands.Beim Debugging-Prozess fallen die Reproduktion und Diagnose heraus. Folglich reduziert sich der Prozess auf:

1. Behebung

2. Fehlernachtests, Regressionstests

1. Kosteneffizientes Mittel zur Erkennung von Fehlerzuständen

2. Höhere Qualität der Testobjekte (wenn Fehlerzustände behoben werden)

3. Direkte Bewertung der Qualität des Testobjekts

4. Beitrag zu Entscheidungen

5. Indirekte Repräsentation von Benutzern im Projekt

6. Kann erforderlich sein (vertraglich, gesetzlich, regulatorisch)

Qualitätssteuerung: Ziel = Hohe Produktqualität durch Evaluation des Produkts

1. Produkorientiert

2. Korrigierend

   
   

   Beispiele:

1. Testen

2. Prototypen

3. Simulation

4. Modellprüfung und Korrektheitsbeweis

QS = Qualitätssicherung

• Qualtitätssicherung: Überwacht Entwicklungs und Testprozess um hohe Prozessqualität zu erreichen

1. Prozessorientiert

2. Präventiv

1. Grundursache

   • Eigentliche Ursache. Bspw. Müdigkeit, unzureichende Schulung

2. Fehlhandlung

   • Die Handlung, die ein Problem verursacht. Also das Schreiben inkorrekter Anweisungen

3. Fehlerzustand

   • Der fehlerhafte Zustand im Produkt (bspw. fehlerhafter Code oder falsche Anforderung)

4. Fehlerwirkung

   • Fehlerhaftes Ergebnis verursacht durch den Fehlerzustand.

1. Testen zeigt das Vorhandensein, nicht die Abwesenheit von Fehlerzuständen

2. Vollständiges Testen ist unmöglich

3. Frühes Testen spart Zeit und Geld

4. Fehlerzustände treten gehäuft auf

5. Tests nutzen sich ab

6. Testen ist kontextabhängig

7. Trugschluss: „Keine Fehler“ bedeutet ein brauchbares System

1. Testplanung

2. Testüberwachung und Teststeuerung

3. Testanalyse

4. Testentwurf

5. Testrealisierung

6. Testdurchführung

7. Testabschluss

1. Testziele definieren

2. Testkonzept festlegen

Testüberwachung: Vergleich des Testfortschritts mit dem Plan

Teststeuerung: Ergreifen von Korrekturmaßnahmen

1. Ableiten von Testbedingungen aus der Testbasis

2. Ableiten von Risiken und Risikostufen

3. Prüfen der Testbasis (und ggf. -objekte) auf Fehlerzustände

4. Testbarkeit der Testbasis (und ggf. -objekte) prüfen

Beantwortet Frage: Was soll getestet werden? Und zwar in Form messbarer Überdeckungskriterien. Hilfsmittel: Testverfahren

1. Ausarbeiten von Testbedingungen zu Testfällen und sonstigen Testmitteln

2. Identifizierung von Überdeckungselementen (nicht -kriterien!)

3. Definition von Anforderungen an die Testdaten

4. Entwurf der Testumgebung

5. Identifizierung sonstiger benötigter Werkzeuge und Infrastruktur

Beantwortet die Frage: Wie soll getestet werden?

Hilfsmittel: Testverfahren

1. Erstellung und Beschaffung von Testmitteln für Testdurchführung (bspw. Testdaten)

2. Organisation von Testfällen in Testabläufe und Testsuiten

3. Erstellung (manueller oder automatischer) Testskripte

4. Priorisierung von Testabläufen und Anordnung in Testausführungsplan

5. Aufbau der Testumgebung

1. Ausführung der Tests

2. Protokollieren der Ergebnisse

3. Vergleich der Ergebnisse mit den Erwartungen

4. Ursachenanalyse für Abweichungen

Der Testabschluss findet idR zu Projektmeilensteinen statt (Freigabe, Ende einer Iteration oder einer Teststufe).Aufgaben:

1. Änderungsanträge (Change Requests) oder Product-Backlog-Elemente für nicht-behobene Fehlerzustände erstellen

2. Testmittel archivieren

3. Testumgebung in einem vereinbarten Zustand hinterlassen

4. Lessons-Learned ermitteln

5. Testabschlussbericht erstellen

1. Stakeholder

   • Bedürfnisse, Erwartungen, Anforderungen, Bereitschaft zur Zusammen- arbeit

2. Teammitglieder

   • Kompetenz, Wissen, Erfahrungsstand, Verfügbarkeit, Schulungsbedarf

3. Unternehmensbereich

   • Kritikalität des Testobjekts, identifizierte Risiken, Marktbedürfnisse, spezifische gesetzliche Vorschriften

4. Technische Faktoren

   • Art der Software, Produktarchitektur, verwendete Technologie

5. Projektbedingte Randbedingungen

   • Umfang, Zeit, Budget, Ressourcen

6. Organisatorische Faktoren

   • Organisationsstruktur, bestehende Richtlinien angewandte Praktiken

7. Softwareentwicklungslebenszyklus

   • technologische Praktiken, Entwicklungsmethoden

8. Werkzeuge

   • Verfügbarkeit, Gebrauchstauglichkeit, Konformität

1. Testkonzept

2. Testzeitplan

3. Risikoverzeichnis

   • eine Liste von Risiken mit ihrer jeweiligen Eintrittswahrscheinlichkeit, ihrem Schadensausmaß und Informationen zur Risikominderung

4. Eingangs- und Endekriterien

1. Testfortschrittsberichte

2. Dokumentation der Steuerungsmaßnahmen

3. Risikoinformationen

1. (priorisierte) Testbedingungen (z. B. Abnahmekriterien)

2. Fehlerberichte über Fehlerzustände in der Testbasis (falls nicht direkt behoben)

1. (priorisierte) Testfälle

2. Test-Chartas

3. Überdeckungselemente

4. Anforderungen an Testdaten und an Testumgebungen

1. Testabläufe

2. automatisierte Testskripte

3. Testsuiten

4. Testdaten

5. Testausführungspläne

6. Bestandteile der Testumgebung

   • Platzhalter, Treiber, Simulatoren und Dienst-Virtualisierungen (service virtualizations)

1. Testprotokolle

2. Fehlerberichte

1. Testabschlussberichte

2. Maßnahmen zur Verbesserung nachfolgender Projekte oder Iterationen

3. dokumentierte Lessons Learned

4. Änderungsanträge (z. B. als Elemente des Produkt-Backlogs).

Die Verfolgbarkeit verbindet:

1. Testbasis

2. Testmittel

3. Testergebnisse

4. Fehlerzustände

Positive Effekte durch Verfolgbarkeit:

1. Unterstützt die Bewertung der Überdeckung

2. Hilft Auswirkung / Effekte von Änderungen abzuschätzen

3. Macht Testfortschrittsberichte für Stakeholder einfacher verständlich

Rolle: TestmanagementGesamtverantwortung für:

1. Testprozess

2. Testteam

3. Leitung der Testaktivitäten

Aktivitäten:

1. Testplanung

2. Testüberwachung und Teststeuerung

3. Testabschluss

Rolle: Testen

Gesamtverantwortung für:

1. operative Aspekte des Testens

Aktvitäten:

1. Testanalyse

2. Testentwurf

3. Testrealisierung

4. Testdurchführung

1. Testwissen

   • zur Steigerung der Effektivität des Testens, z. B. durch den Einsatz von Testverfahren)

2. Gründlichkeit, Neugier. methodisches Vorgehen

   • um Fehlerzustände zu erkennen, insbesondere solche, die schwer zu finden sind

3. Gute Kommunikationsfähigkeit, aktives Zuhören, Teamfähigkeit

   • um mit allen Stakeholdern effektiv zu interagieren, Informationen an andere weiterzugeben, verstanden zu werden und Fehlerzustände zu berichten und zu diskutieren

4. Analytisches Denken, kritisches Denken, Kreativität

   • zur Steigerung der Effektivität des Testens

5. Technische Kenntnisse

   • um die Effizienz des Testens zu steigern, z. B. durch den Einsatz geeigneter Testwerkzeuge

6. Wissen in der Anwendungsdomäne

   • um Endanwender/Fachbereichsvertreter verstehen und mit ihnen kommunizieren zu können

Weil Tester oft als Überbringer schlechter Nachrichten angesehen werden. Ein besonderes Problem ist, wenn die Entwickler nicht glauben, dass die Tests tatsächliche Fehler aufzeigen, weil sie so selbstüberzeugt vom Code sind (Bestätigungsfehler, confirmation Bias).

Der Whole-Team Ansatz:

1. Jedes Teammitglied mit entsprechenden Kompetenen kann jede Aufgabe ausführen und ist für die Qualität mitverantwortlich

2. Dafür haben alle Mitglieder einen (phyischen oder virtuellen) gemeinsamen Arbeitsplatz

Vorteile:

1. Verbessert Team-Dynamik

2. Fördert Kommunikation und Zusammenarbeit

3. Schafft Synergien

Beispiele:

1. Tester arbeiten mit Fachbereichsvertretern zusammen an Abnahmetests

2. Tester entwickeln Testkonzept und Testautomatisierung zusammen mit Entwicklern

Wann nicht geeignet?

• Wenn ein hohes Maß an Unabhängigkeit zwischen Testern und Entwicklern gefordert wird. Bspw. bei sicherheitskritischen Systemen.

1. Keine Unabhängigkeit = Autor vom getesteten Code

2. Etwas Unabhängigkeit = Kollege aus dem selben Team

3. Hohe Unabhängigkeit = Tester aus der eigenen Organisation

4. Sehr hohe Unabhängigkeit = Tester aus externer Organisation

Am besten man nimmt verschiedene, bspw. abhängig von der Teststufe (Kompontenten- vs. Systemtest).

Vorteile:

1. Führt zum Aufdecken anderer Fehler durch anderen Hintergrund und Voreingenommenheit

2. Annahmen in Anfoderungen, Spezifikation und Implementation werden durch externen Blick neu bewertet

Nachteile:

1. Kann zu Isolation des Testers vom Entwicklungsteam führen

2. Das kann in mangelnder Zusammenarbeit und Kommunikation führen

3. Dies kann wiederum zum Aufbau von Fronten führen

4. Entwickler können das Gefühl der eigenen Verantwortung für die Produktqualität verlieren