Testberichte mit Jira und Xray

Was ist das Jira Plug-in Xray?

Testberichte sind für Testmanager und Projektleiter unersetzlich und mit Xray und Jira sind sie einfacher zu erzeugen. Zudem muss das Planungstool der Wahl nicht verlassen werden.

Jira ist als Werkzeug zur Zusammenarbeit in agilen Teams sehr verbreitet und ist nach meiner Erfahrung an fast alles anpassbar. Genau diese Freiheit kostet in der Einarbeitung mitunter etwas Zeit. Gleichzeitig hat Jira genügend strikte Regeln, die es beherrschbar machen. Weil Jira über Plug-ins erweiterbar ist, gibt es nur wenige Bereiche, für die es nicht nutzbar ist.

Die App Xray ist ein Jira-Plug-in für das Testmanagement. Und für Testberichte ist das Duo Xray und Jira sehr gut geeignet. Nach der Installation von Xray erscheinen diese Vorgangstypen neu in Jira:

• Testpläne (Test plan)
• Testsets (Test set)
• Testfälle (Test case)
• Testausführungen (Test execution)
• Testläufe (Test run)

Das Xray-Plugin wird auch auf der Seite Agile.IT.Management vorgestellt.

Außerdem bietet Xray – wie andere Testmanagement-Umgebungen auch – Testbibliotheken (Test Repository). Hier werden die Testfälle vorbereitet und je nach Fortschritt der Entwicklung können sie den Testplänen für ein bestimmtes Release zugewiesen werden. Die zugewiesenen Testfälle werden dann ausgeführt und das konkrete Ergebnis bleibt bei diesem Testlauf in der Testausführung.

TIP: Wenn Testfälle nachträglich verändert werden, ist diese Änderung auch in den früheren Ausführungen sichtbar, obwohl sie damals nicht vorhanden war. Hier hilft ein Klon des Testfalls in der Testbibliothek weiter.

Testprozess-Design mit Xray

Im Wasserfallmodell oder im Rational Unified Process nimmt die Dokumentation des Testens einen breiten Raum ein. Zum Auffrischen gibt es hier eine interessante und kurze Seite in englischer Sprache: Agile vs Scrum vs Waterfall vs Kanban

Auf der anderen Seite bevorzugt das agile Vorgehensmodell die Umsetzung gegenüber der Dokumentation. Deshalb sind umfangreiche Dokumentationen im agilen Vorgehensmodell fast nicht zu finden. Eines aber bleibt: Bei jeder Softwarelieferung werden folgende Vorgänge bearbeitet

• Neue Funktionen
• Änderungen
• Fehlerbehebungen

Jeder Vorgang muss durch einen Test geprüft werden. Das ist unabhängig vom Vorgehensmodell bei der Softwareentwicklung. Aus dieser Betrachtung ergibt sich folgende Struktur für einen Testplan

• Testpläne werden gemäß Release aufgestellt
• Testpläne werden unterteilt in
  • Test neuer Funktionen (Features und Änderungen)
  • Fehlernachtests, sofern sie nicht bei Änderungen enthalten sind
  • Test vorhandener Funktionen (Regression)
  • Nicht funktionale Tests
• Testsets werden entsprechend der Funktion eingeteilt.
• Testausführungen werden gemäß Testumgebung aufgestellt
  • Das sind bei Voicebots könnten diese Umgebung sein: Siri, Google Assistant, Alexa
  • Für Webseiten zum Beispiel der Browser: Safar, Opera, Edge, Firefox
  • Und bei Applikationen wären es diese Testumgebungen: Android oder iOS.

Nach der Planung und nach der Durchführung sind Berichte zu erstellen. Denn Kunden, der Productowner, der Scrum Master oder einfach auch das Team wollen sehen, was geschafft wurde und wie gut es geworden ist. Das gibt ein gutes Gefühl und Tests schaffen so einfach das nötige Vertrauen in die Funktionstüchtigkeit der Software. Testberichte mit Xray und Jira helfen dabei.

Welche Testreports bietet Xray?

Bei der Darstellung der Berichte ist das übliche Jira-Layout bestimmend. Diese Berichte liefert das Jira-Plug-in Xray.

• Testplanbericht (link)
• Testausführungsbericht (link)
• Testlaufbericht (link)
• Rückverfolgbarkeitsbericht (link)

Im Menüpunkt Berichte sind die Xray-Testberichte aufrufbar

Die Test Plan Report Übersicht

Der Test Plans Report im Jira-Plug-in Xray zeigt geplante Testfälle als Übersicht. Der Testplanbericht wird über Berichte / Testplan Liste aufgerufen. Zusätzlich wird das Ergebnis der einzelnen Testfälle gezeigt. Es ist möglich die zu betrachtende Version auszuwählen. Die Übersicht der Testpläne im Jira-Plug-in Xray beinhaltet folgende Parameter:

• Test Executions: Anzahl der Testausführung für diesen Testplan
• Test runs: Anzahl der Testläufe aller Testausführungen dieses Testplans
• Total Tests: Anzahl der Tests in diesem Testplan
• Tests by Status: Übersicht des Teststatus PASS, TODO, EXECUTING, FAIL, ABORTED, BLOCKED
• Test by Test Type: Art des Tests als MANUAL, CUCUMBER, GENERIC, OTHER
• Progress (Execution): Testfortschritt (execuciòn ou muerte)
• Success rate: Anteil der gelungenen Testfälle insgesamt
• Success rate per Test Environmnent: Anteil gelungener Testfälle pro Testumgebung
• Linked Defects: Anzahl der abhängigen Tickets OPEN, CLOSED

Leider gehen beim Export nach Word sowohl die Formatierungen und die Details verloren. Beim Export nach CSV bleiben die Informationen erhalten.  Werden später Testfälle hinzugefügt, werden sie zusätzlich angezeigt und verwässern die Darstellung. Deshalb ist es vermutlich besser ein PDF-Dokument des Berichts bei den Release-Artefakten abzulegen.

Den Testplanbericht nutze ich innerhalb der Testberichte mit Xray und Jira, um für jedes Release einen Überblick und festen Ausgangspunkt zu haben.

Im Testplanbericht werden die jüngsten Testergebnisse auch farbig gezeigt

Als Schlüsselinformationen sind im Test Plan Report folgende Daten angegeben

• KEY: Testplan ID
• Summary: Zusammenfassung des Testplans
• Version: Software-Version, zu dem der Testplan gehört
• Planned Start Date: Geplanter Teststart
• Planned End Date: Geplantes Testende
• Test Environmnents: Geplante Testumgebungen

Die Filtereinstellungen sind über eine Dropdownliste links oben neben Fix Version erreichbar. Es werden nur Testpläne des eingestellten Projekts angezeigt. Filter können gespeichert und frühere Versionen können die Suche einbezogen werden. Die angezeigten Spalten sind konfigurierbar.

Filter können für folgende Merkmale eingetragen werden.

• Fix Version: Version des Testplans
• Assignee: Verantwortliche Person für den Testplan
• Status: Status im Arbeitsablauf
• Resolution: Lösung im Arbeitsablauf

Der Test Execution Report im Jira Plug-in Xray

Der Testausführungsbericht zeigt durchgeführte Testfälle als Übersicht und zusätzlich das Ergebnis der einzelnen Testfälle. Er ist über Berichte / Testausführungsliste aufrufbar. Die Darstellung ähnelt dem Testplanbericht und die Tabelle ist auch hier für einige Bildschirme oder Auflösungen zu breit. Diese Kennzahlen werden für die einzelne Testausführung angegeben

• total tests: Gesamte Anzahl der Tests in der Testausführung, auch in Abhängigkeit der Testläufe
• number of tests by status: Anzahl der Tests in pro Status, PASS, TODO, EXECUTING, FAIL, ABORTED, BLOCKED, PENDING, FAIL DISCARDABLE, FAILING BUT OK
• number of tests by test type: Anzahl der Tests der einzelnen Testarten: MANUAL, CUCUMBER, GENERIC, OTHER
• progress: Fortschritsanzeige in Prozent
• success rate: Anteil gelungener Testfälle in Prozent
• Elapsed time: Zeitdauer für die Testausführung
• Linked Defects: Anzahl der abhängigen Tickets OPEN, CLOSED

Im Bericht der Testausführungen sind Lösungsversionen und Testumgebungen darstellbar und das Ergebnis ist farblich angezeigt

Zur Identifikation der Testausführung werden folgende Merkmale angezeigt

• TE KEY: ID der Testausführung
• Summary: Zusammenfassung der Testausführung
• Version: Version des Testplans
• Planned Start Date: Geplantes Startdatum
• Planned End Date: Geplantes Endedatum
• Test Environmnent: Testumgebung

Beim Export als Word-Datei gehen die Information zum Status der Testfälle und auch farbliche Markierung verloren. Bei einem Export als CSV sind die Daten zwar vorhanden, erzeugen aber in der weiteren Verarbeitung mehr Aufwand.

TIPP: Mein Favorit ist es, die Berichte als PDF den Release-Dokumenten beizulegen. Das ist für die Dokumentation beim Kunden eine sinnvolle Möglichkeit. Denn dieses Vorgehen macht von späteren Änderungen bei Labels, Komponenten oder anderen Daten unabhängig.

Testausführungsberichte haben ebenfalls Filter, dazu gibt es diese Filterfelder.

• Fix Version: Version des dazugehörigen Testplans
• Assignee: Verantwortliche Person zur Testausführung
• Status: Status im Arbeitsablauf
• Resolution: Lösung im Arbeitsablauf
• Test Plan: Testplan
• Environmnent: Testumgebung

Der Test Run Report im Jira Plug-in Xray

Test Run Reports werden über Berichte / Liste der Testläufe aufgerufen. Er zeigt detaillierte Ergebnisse der einzelnen Testläufe an. Das sind folgende Merkmale

• Test: Test-ID
• Test Summary: Zusammenfassung des Tests
• Components: Betrachtete Komponenten
• Test Type: Testart MANUAL, CUCUMBER, GENERIC, OTHER
• Test Priority: Testpriorität des Testfalls
• Executed By: Name des Testenden
• Started At: Testbeginn
• Finished At: Test-Ende
• Elapsed Time: Testdauer
• Status: Status des Testfalls PASS, FAIL, …
• Test Plan: verknüpfter Testplan
• Test Execution: verknüpfte Testausführung
• Fix Version: Version des Testplans
• Revision: Überarbeitungsstand
• Test Environmnents: Die Testumgebung zum Testlauf
• Tickets: Anzahl der verknüpften Defects OPEN, CLOSED

Testläufe werden für jede Testumgebung separat angezeigt. Verlinkte Defekts werden mit ihrem Status dargestellt.

Beim Testlaufbericht ist im Jira-Plug-in Xray nur ein CSV-Export möglich. Dafür sind dann aber alle Spalten und nicht nur die sichtbaren dabei. Wer also Freude hat, kann die Daten in eine Tabellenkalkulation oder eine Datenbank importieren und sie nach Herzenslust auswerten.

Testlaufberichte würde ich nur mit ihrer Jira-URL dokumentieren.

Zusammenfassung

Testberichte sind mit Xray und Jira einfach zu erzeugen. Die grundsätzlichen Berichte, Testplanbericht, Testausführungsreport und Testlaufstatistik werden in diesem Artikel dargestellt.

Die deutschen Übersetzungen der Berichte sind zwischen den Versionen von Xray nicht einheitlich umgesetzt und sie unterscheiden sich von Fundstelle zu Fundstelle in der Applikation.

Anmerkung der Redaktion:

Wir danken Diethelm Dahms von der Speech & Phone GmbH vielmals für diesen hervorragenden Artikel über Xray und Jira.
Bei Fragen zu Jira, Xray oder dessen Testberichten, hinterlassen Sie sehr gerne einen Kommentar oder melden sich per Mail direkt bei dem Autor oder unserer Board-Redaktion. Die Speech & Phone GmbH hat auch einen eigenen Blog für weitere Informationen.
Gefällt Ihnen der Artikel, würdigen Sie dies sehr gerne über einen Social-Share.