Kapitel 5 - Testmanagement

Vorteile

– Unabhängige Tester sind unvoreingenommen

– Unabhängige Tester hinterfragen Annahmen, die von anderen Stakeholdern gemacht wurden

Nachteile

– Hoher Kommunikationsaufwand zwischen Entwicklung und Test

– Isolation kann den Teamzusammenhalt und die Zusammenarbeit beeinträchtigen.

– Ein unabhängiges Testteam kann als letzte Prüfinstanz einen Engpass darstellen

– Es besteht die Gefahr, dass die Entwickler die Verantwortung für Qualität nicht mehr ausreichend wahrnehmen und an die unabhängigen Tester delegieren

• Testrichtlinie/Teststrategie für das Unternehmen entwickeln/prüfen

• Testkonzepte schreiben, mit Stakeholdern abstimmen und aktualisieren

• Testaktivitäten planen: Auswahl von Testvorgehensweisen, Schätzung von Testdauer/Aufwand/kosten, Festlegung von Teststufen/Testzyklen, Planung des Fehlermanagements

• Einbringung der Testperspektive in andere Projektaktivitäten

• Einführung von Metriken für die Messung des Testfortschritts/Testqualität

• Testüberwachung und -steuerung: Endekritieren überprüfen

• Testfortschrittsberichte und Testabschlussberichte erstellen

• Aufsetzung eines Fehlermanagementsystems und Konfigurationsmanagements

• Unterstützung bei der Auswahl von Testwerkzeugen

• organisatorische Weiterentwicklung des Testers

• Testkonzepte prüfen und zu diesen beitragen

• Testbasis auf Testbarkeit analysieren, prüfen und beurteilen (Anforderungen, User-Stories, Abnahmekriterien, ...)

• Testbedingungen identifizieren und die Rückverfolgbarkeit zwischen Testfällen, Testbedingungen und der Testbasis erfassen

• Testumgebungen entwrfen, einrichten und verifizieren

• Testfälle und Testabläufe entwerfen und realisieren

• Testdaten vorbereiten und beschaffen

• detaillierten Testausführungsplan erstellen

• Tests durchführen, Ergebnisse bwerten und Abweichungen von den erwarteten Ergebnissen dokumentieren

• Geeignete Werkzeuge zur Unterstützung des Testprozesses verwenden

• Geeignete Werkzeuge zur Unterstützung des Testprozesses verwenden

• Bei Bedarf Tests automatisieren, evtl. unterstützt durch Entwickler oder Testautomatisierungsexperten

• Funktionale, wie nicht-funktionale Eigenschaften bewerten

• Tests prüfen, die ovn anderen entwickelt wurden

• So früh im Projekt wie möglich und durch alle Phasen des Projekts kontinuierliche begleitend

Die übergreifende Planung der qualitätssichernden Maßnahmen in einem Projekt wird im Qualitätssicherungsplan dokumentiert.

Das Testkonzept legt die Testaktivitäten für Entwicklungs- und Wartungsprojekte fest

Bei größeren Projekten kann die Planung in einem Mastertestkonzept und in separaten Testkonzepten für Teststufen oder für einzelne Testarten erfolgen

Im Testplan wird die zeitliche Planung der Testdurchführung detaillierter beschrieben.

• Bestimmung des Umfangs/Ziele/Risiken der Tests

• Festlegung der allgemeinen Testvorgehensweise: projektspezifische Teststrategie, Teststufen, Eingangs- und Endekriterien

• Entscheidung: Testintensitivität, Wer mit welchen Ressourcen, Wie Testaktivitäten durchzuführen sind, Wie Testergebnisse zu bewerten sind

• Auswahl der Metrken zur Testüberwachung und -steuerung

• Festlegung des Budgets für die Testaktivitäten

• Festlegung des Umfangs, Detaillierungsgrads und der Struktur für die Testdokumentation

• Reifegrad des Softwareentwicklungsprozesses: langfristig durch Prozessverbesserung beeinflussbar

• Testbarkeit der Software: gut strukturierter Prozess mit Reviews führt zu besser strukturierter Software, die einfacher zu testen ist

• Testinfrastruktur

• Mitarbeiterqualifikation: kurzfristig: Auswahl des Testpersonalds; langfristig: Aus- und Weiterbildung

• Qualitätsziele: nur bedingt nur Priorisierung einflussbar

• Testkonzept / inkl. projektspezifische Teststrategie

- Definiert die Reihenfolge in der Testsuiten ausgeführt werden

- Einflussfaktoren auf die Ausführungsreihenfolge können sien:

-- Priorisierung (idealerweise werden Testfälle mit der höchsten Priorität zuerst ausgeführt)

-- Abhängigkeiten

-- Fehlernachtests

-- Regressionstests

-- Effizienz bei der Ausführung

• Präventive Vorgehensweise: Tests so früh wie möglich

• Reaktive Vorgehensweise

• Analytische Vorgehensweise: z. B. risikobasiert nach Analyse des Testobjektes

• Modellbasierte Vorgehensweise: Tests auf Grundlage eines Modells (Funktion, Geschäftsprozess, interne Struktur, nicht-funktionales Qualitätsmerkmal)

• Methodische Vorgehensweise: systematische Nutzung vorderfinierter Testssets/bedingungen, Systematik von wahrscheinlichen Fehlerwirkungen

• Prozesskonforme (oder stndardkonforme) Vorgehensweise: auf Grundlage von externen Vorschriften/Standards

• Angeleitete (oder beratende) Vorgehensweise

• Leistungserhaltende Vorgehensweise: Widerverwendung von Testmittel, Automatisierungs von Regressionstests, Nutzung von Standardtestsuiten

• Art und Komplexität des Produkts und des Geschäftsfelds, Technologie

• Risiko des Scheiterns des Projekts

• Risiken für das Produkt und Risiken für Personen, die Umwelt und das Unternehmen bei Produktfehlern bzw. -ausfällen

• Qualifikation und Erfahrung der Personen in den einzusetzenden Techniken, Werkzeugen und Methoden

• Testziele und Auftrag des Testteams

• Für den Entwicklungsprozess einzuhaltende Regularien

• Wählen Sie einen Mix von Vorgehensweisen aus, welches ein optimales Verhältnis zwischen Testkosten, verfügbaren Ressourcen und drohenden Fehlerkosten darstellt

• Expertenbasierte Verfahren: durch Verantwortliche für diese Aufgaben oder externe Experten

• Metrikbasierte Verfahren: auf Basis von Metriken früherer oder ähnlicher Projekte oder auf Basis von typischen Werten (Analogieschätzung)

• Einzelschätzung: Experte (oft der Testmanager oder erfahrene Tester) schätzt den Aufwand auf Basis der Aufgabenbeschreibung und seiner Erfahrung

• Mehrfachbefragung: Es werden mehrere Schätzer, möglichst aus unterschiedlichen organisatorischen Bereichen, befragt und ein Mittelwert gebildet oder (bei größeren Unstimmigkeiten) diskutiert und ein Konsens gesucht

• Planungspoker: Teammitglieder schätzen den Aufwand, der ihrer Erfahrung nach notwendig ist, um eine Funktionalität bereitzustellen

• Delphi-Schätztechnik: Formalisierte, schriftliche Befragung mehrerer Experten; Zwei oder mehr Befragungsrunden mit Sitzungen zur Diskussion der Zwischenergebnisse der vorausgegangenen Schätzrunde

• Schätzsitzung: Übertragung des Delphi-Prinzips auf eine einzige Gruppensitzung

• Schätzung auf Basis von Vergleichswerte aus ähnlichen Projekten mit ähnlichen Randbedingungen

• Prozentsatzmethode: Vergleich auf Basis von Verhältnis zwischen Aufwand und Projektzeit zu Testaktivitäten; Top-Down und Bottom-Up-Schätzung möglich

• Burndown Charts: Aufwand wird zusammen mit Velocity (Maß für Produktivität im agilen Projekt) genutzt, um die Menge an Arbeit zu ermitteln, die das Team in der nächsten Iteration erfüllen kann

Messbare Eigenschaft eines Testfalls, Testlaufs oder Testzyklus mit Angabe der zugehörigen Messvorschrift.

• Fehlerbasierte Metriken

• Testfallbasierte Metriken

• Testobjektbasierte Metriken

• Kostenbasierte Metriken

z.B. Fehlerdichte, gefundene und behobene Fehlerzustände, Fehleraufdeckungsrate, Ausfallrate und Nachtestergebnisse

• Verhältnis der bereits spezifizierten/geplanten Testfälle

• Anzahl der durchgeführten/nicht durchgeführten Testfälle

• Anzahl der bestandenen/fehlgeschlagenen Testfälle

Testabdeckung der Anforderungen, User Stories, Abnahmekriterien der Risiken oder des Codes

Vergleich der Kosten für das Auffinden des nächsten Fehlers und den nächsten Testdurchlauf

Die gemessenen Daten dienen zur Standortbestimmung und helfen, folgendes zu beantworten:

– Fortschritt gegenüber dem geplanten Zeitplan und Budget

– Gegenwärtige Qualität des Testobjekts

– Angemessenheit der Testvorgehensweise

– Effektivität der Testaktivitäten in Bezug auf die Ziele – Kann der Test beendet und das Produkt ausgeliefert werden?

Bedingungen, damit eine Teststufe oder ein Set von Testfällen als abgeschlossen bezeichnet werden kann

• Verfügbarkeit von testbaren Anforderungen, User-Stories und/oder Modellen (bspw., wenn eine modellbasierte Teststrategie verfolgt wird)

• Verfügbarkeit von Testelementen, die die Endekriterien für vorangegangene Teststufen erfüllt haben

• Verfügbarkeit einer Testumgebung

• Verfügbarkeit der notwendigen Testwerkzeuge

• Verfügbarkeit von Testdaten und anderen notwendigen Ressourcen

• Geplante Tests wurden durchgeführt

• Überdeckungsmaße sind erfüllt, z.B. Abdeckung von Code, Anforderungen, User Stories, Abnahmekriterien oder Risiko

• Die Anzahl ungelöster Fehlerzustände bewegt sich innerhalb einer vereinbarten Grenze

• Schätzung der (verbleibenden) Fehlerdichte oder Zuverlässigkeitsschätzung

• Umfang der verbleibenden Risiken, wie z.B. erkannte aber nicht behobene Fehler oder fehlende Testüberdeckung in einzelnen Softwareteilen

• Kosten, Zeit, z.B. Termin der Auslieferung oder Markteinführung

• Die bewerteten Niveaus an Zuverlässigkeit, Performanz, Gebrauchstauglichkeit, Zugriffssicherheit und anderer relevanter Qualitätsmerkmale sind ausreichend

Zweck des Testberichts ist es, Informationen über die Testaktivitäten zusammenzufassen und zu kommunizieren

• Testfortschrittsbericht: Bericht für den Fortschritt während einer Testaktivität

• Testabschlussbericht: Bericht am Ende einer Testaktivität, z.B. einer Teststufe

• Status der Testaktivitäten und Fortschritt gegenüber dem Testkonzept

• Informationen darüber, was in der Testperiode vorgefallen ist

• Metriken über Fehlerzustände, Testfälle, Testüberdeckung, Aktivitätsfortschritt und Ressourcenverbrauch

• Stand der Tests und Produktqualität in Bezug auf Endekriterien oder Definition-of-Done

• Abweichungen vom Plan inkl. Abweichungen vom Zeitpunkt, Dauer und Aufwand von Testaktivitäten

• Faktoren, die den Fortschritt blockiert haben oder weiterhin blockieren

• Restrisiken

• Erzeugte wiederverwendbare Testarbeitsergebnisse

• Teststeuerung beschreibt sämtliche Führungs- oder Korrektur- maßnahmen, die auf Grund gesammelter oder berichteter Informationen und Metriken ergriffen werden.

• Maßnahmen können jede Testaktivität betreffen und können jede andere Softwarelebenszyklusaktivität oder -aufgabe beeinflussen.

• Bsp. (1/3): Repriorisierung von Tests, wenn identifizierte Risiken auftreten

• Bsp. (2/3): Änderung des Testzeitplans aufgrund der Verfügbarkeit der Testumgebung

• Bsp. (3/3): Setzen einer Eingangskriterium mit der Maßgabe, dass Fehlerbehebungen durch einen Entwickler nachzutesten sind, bevor die Software an die nächste Teststufe übergeben wird

Problem, das in der Zukunft eintreten könnte und unerwünschte Folgen hat; ein Faktor, der zu negativen Konsequenzen in der Zukunft führen könnte

Die Höhe eines Risikos (R) ergibt sich aus der Eintrittswahrscheinlichkeit (W) und dem damit verbundenen Schadensausmaß (S):

R=W•S

Risiken sind Probleme, die sowohl während der Entwicklung als auch bei dem Einsatz des Produkts möglicherweise eintreten können und unerwünschte Folgen haben.

Projektrisiken beziehen sich auf Management und Steuerung eines (Test-) Projekts, z.B. Mangel an personellen Ressourcen, zu enge Zeitrahmen, sich ändernde Anforderungen, usw.

Produktrisiken sind direkt auf das Software-Projekt bezogen und resultieren oft aus Qualitätsmängeln.

• Projektprobleme: Verzögerungen, Unzureichende Finanzierung, Ungenaue Schätzungen, Überarbeitung

• Unternehmensprobleme: Unzureichende Qualifikations der Mitarbeiter, Personalprobleme

• Politische Probleme: Kommunikationsprobleme mit Testern bzgl. Erfordernissen/Ergenissen, Nicht-Nutzung von Erkenntnissen, Unangemessene Haltung gegenüber dem Testen allgemein

• Lieferantenprobleme: Versagen einer dritten Partei, Vertragsaspekte

• Technische Probleme: Schlechte Anforderungen, Nicht rechtzeitig verfügbare Testumgebung, Schwächen im Entwicklungsprozess, schlechtes Fehlermanagement

• Funktionalität abweichend von Spezifikation

• Software invalide bzgl. Benutzeranforderungen

• Produkterwartungen von Benutzern nicht erfüllt

• Nicht-funktionale Anforderungen werden nicht erfüllt

Risikomanagement ist die systematische Anwendung von Praktiken für die Aufgaben der Risikoidentifizierung, Risikoanalyse, Risikopriorisierung und Risikosteuerung zur Verhinderung von Fehlschlägen

• Ermittlung des Risikokontextes

• Risikoidentifikation

• Risikoanalyse und -priorisierung

• Risikosteuerung und -bewältigung

• Risikoübeprüfung und -überwachung

Ein gut funktionierendes Verfahren zur Übermittlung und Verwaltung der Fehlermeldungen

• Entwicklern und anderen Informationen über jedes aufgetretene unerwüschte Ereignis zur Verfügung zu stellen sodass das Problem reproduzierbar ist und mögliche Fehlerzustände identifiziert werden können

• Qualität der Arbeitsergebnisse nachzuverfolgen

• Ideen liefern für die Verbesserung der Entwicklung und des Testprozesses

• einheitlich, statistisch auswertbar

• Kennung

• Titel und kurze Zusammenfassung

• Datum

• Identifikation des Testelements und der Testumgebung

• Phase des Entwicklungslebenszyklus

• Beschreibung inkl. Datenbank-Dumps, Protokolle, Bildschirmfotos, ...

• Erwartete Ergebnisse und Istergebnisse

• Umfang oder Auswirkungsgrad

• Dringlichkeit/Priorität der Behebung

• Status des Fehlerberichts

• Schlussfolgerungen, Empfehlungen und Freigaben

• Allgemeine Probleme, z. B. wenn andere Bereiche durch die Korrektur der Abweichung beeinflusst werden könnten

• Änderungshistorie, welche Tätigkeiten von welchem Projektteammitgliedern zur Korrektur der Abweichung durchgeführt wurde

• Referenzen, einschließlich des Testfalls, der das Problem aufgedeckt hat

Schaffung und Erhalt der Integrität (Aktualität, Vollständigkeit) der Software oder des Systems (Komponenten, Daten und Dokumentation, ...) sowie ihrer Beziehungen untereinander während des Projekt- und Produktlebenszyklus

• Versionverwaltung

• Konfigurationsverwaltung

• Statusverfolgung von Fehlern und Änderungen

• Konfigurationsaudits