Am 1. August 2012 führte ein Softwarefehler dazu, dass die Knight Capital Trading Group unkontrolliert Aktien im Wert von rund 7 Milliarden US-Dollar kaufte – eine Katastrophe, die nur 45 Minuten dauerte, aber das Unternehmen endgültig 440 Millionen US-Dollar kostete. Der Grund? Nicht getesteter Code, der fälschlicherweise in die Produktion ging.

Das Postmortem zeigte, dass veralteter Testcode nach engen Deadlines und Refactoring nicht entfernt und durch ein fehlerhaftes Flag aktiviert wurde. Dies brachte eines der größten Handelsunternehmen der Wall Street an den Rand der Insolvenz, die nur durch eine massive Kapitalinjektion von InvestorInnen abgewendet werden konnte.

Die Absicht des Testcodes war ursprünglich zwar sinnvoll, doch aufgrund unzureichender Systemtests konnte die Katastrophe nicht verhindert werden - die Qualitätssicherungs-Standards wurden nicht erfüllt.
So ist nicht nur für große Player wichtig, Software Testing rettet Unternehmen jeder Größe vor ähnlichen Katastrophen. In diesem Blog Artikel werfen wir einen umfassenden Blick auf wichtige Software Testing Methoden und Best-Practices.

Definition von Software Testing

Welche Bereiche umfasst eigentlich der Begriff “Software Testing”?

Es ist nicht nur eine eigenständige Phase im Lebenszyklus eines Softwareprodukts, sondern ein integraler Bestandteil der gesamten Entwicklung. Testing überprüft und validiert, ob Software korrekt funktioniert und den gewünschten Anforderungen entspricht. Zudem sorgt es dafür, dass Fehler (Bugs) vor der Inbetriebnahme entfernt werden. Dabei gibt es verschiedene Methoden, die je nach Projekt und Anforderung ausgewählt werden können.

Viele Projekte haben lange Anforderungskataloge und straffe Zeitpläne, sodass es häufig so erscheint, als ob eine angemessene Qualitätssicherung den Workload des EntwicklerInnenteams nur noch mehr belasten würde. Doch dies ist ein Trugschluss, da unzureichende Tests oft zu zeitintensiven und kostspieligen Nachbesserungen des Releases führen – ein ernstzunehmendes Risiko für jedes professionelle Unternehmen.

Das Szenario von Stress für BenutzerInnen, KundInnen und EntwicklerInnen kann durch präventive und beständige Qualitätssicherung verhindert werden. Das Resultat? Zufriedene BenutzerInnen durch verbesserte User Experience (UX), zufriedene KundInnen und ein intakter Ruf des Unternehmens. (Und ein ruhiger Feierabend für EntwicklerInnen). Es können zudem im Bereich der IT-Security potenzielle Sicherheitslücken frühzeitig geschlossen und Hackerangriffen der Zahn gezogen werden.

Die Intensität eines Software-Ausfalls oder Bugs kann natürlich stark variieren. Von leichten Unannehmlichkeiten bis hin zu existenziellen Bedrohungen für ein Unternehmen oder sogar kollateralem Schaden für die Allgemeinheit. 

Doch wie kann man die Qualität nun sicherstellen? 

Typen von Software Testing Methoden

Grundsätzlich unterscheidet man zwischen manuellem und automatisiertem Testen, wobei dies weniger eine „Entweder-oder“-Entscheidung ist, sondern vielmehr eine starke Empfehlung, beide Methoden zu kombinieren. Beide Ansätze bringen Vor- und Nachteile mit sich, die je nach Projektanforderung unterschiedlich ins Gewicht fallen.

Beim manuellen Testen überprüfen Menschen die Funktionalitäten eines Softwareprodukts von Hand. Besonders die UX steht hierbei im Vordergrund, da menschliche TesterInnen in der Lage sind, auf unerwartetes Verhalten der Software flexibel zu reagieren. Sie können tiefere Einblicke in potenzielle Verbesserungsmöglichkeiten und unerwünschtes Verhalten gewinnen. Anders als beim automatisierten Testen kann ein Mensch intuitiv Rückschlüsse auf wahrscheinliches Verhalten von NutzerInnen ziehen und benötigt dafür keine spezielle Technologie oder Entwicklungszeit, lediglich die Zeit für den Test selbst.

Doch das manuelle Testen hat auch seine Schattenseiten. Da Software-Entwicklung typischerweise mehrere Testzyklen durchläuft, entsteht mit jedem neuen Zyklus zusätzlicher Aufwand für die TesterInnen, was wiederum Zeit und Geld kostet. Zudem ist nicht sichergestellt, dass alle potenziellen Fehlerquellen während des manuellen Testens aufgedeckt werden. Es ist bemerkenswert, wie oft Nutzer:innen ein Softwareprodukt durch unerwartetes Verhalten „in die Knie zwingen“ können, an das in der manuellen Überprüfung nicht gedacht wird. Vor allem bei großen Projekten oder kontinuierlicher Entwicklung mit häufigen Updates kann das manuelle Testen schnell an seine Grenzen stoßen.

Um diese Herausforderungen zu bewältigen, kommt automatisiertes Testen ins Spiel. Hierbei werden Tools verwendet, um definierte Anwendungsszenarien der Software automatisch zu prüfen. Sie überprüfen auch, ob bestimmte Funktionen korrekt arbeiten und erwartete Werte oder Parameter dem festgelegten Resultat entsprechen. Diese Tests können regelmäßig und ohne menschliches Eingreifen ausgeführt werden. Das macht sie ideal für Routineprüfungen oder sicherheitskritische Schritte innerhalb einer DevOps-Pipeline, sowie zeit- und kosteneffizienter, sobald sie eingerichtet sind.

Allerdings sind die initialen Kosten und der Aufwand für das Einrichten von automatisierten Tests nicht zu unterschätzen. Es müssen Skripte geschrieben und sorgfältig gepflegt werden, insbesondere bei Änderungen oder Updates der Software. Zusätzlich gibt es bestimmte Aspekte, wie die UX, die sich nicht automatisieren lassen – hier bleibt menschliches Feedback weiterhin unerlässlich.

Teststufen (Levels of Testing)

Die unterschiedlichen Stufen des Testings zielen darauf ab, die Qualität in den verschiedenen Phasen der Softwareentwicklung sicherzustellen.

Die kleinste testbare Einheit – und somit die niedrigste Stufe – ist der Unit-Test, auch Modultest genannt. Hierbei wird das Verhalten einer einzelnen Komponente der Software, meist einer Funktion oder Methode, isoliert geprüft. Mock-Objekte oder Stubs simulieren dabei Abhängigkeiten oder Datenobjekte. Ein erwarteter Wert wird festgelegt, und Abweichungen liefern Rückschlüsse auf mögliche Fehler. Das bewusste Prüfen auf mögliche false-positives gehört ebenfalls zu einer umfassenden Unit-Test-Umgebung. So kann fehlerhaftes Verhalten von wichtigen Komponenten frühzeitig automatisiert und regelmäßig geprüft werden. Typische Tools für Unit-Tests sind:

• JUnit (Java)
• NUnit (.NET)
• PyTest (Python)
• PHPUnit (PHP)

Aber selbst wenn alle Unit-Tests die erwarteten Ergebnisse liefern, bedeutet das nicht zwangsläufig, dass die Software insgesamt wie beabsichtigt funktioniert. Unit-Tests überprüfen nicht die Zusammenarbeit zwischen Modulen. An dieser Stelle kommt das Integration Testing ins Spiel, das sich auf die Schnittstellen zwischen diesen fokussiert. Um sicherzustellen, dass diese Zusammenarbeit reibungslos funktioniert, werden mehrere Systeme simuliert – oft mithilfe von Test-Frameworks. Zu den gängigen Tools für Integrationstests gehören:

• JUnit
• TestNG
• Selenium

Wenn Probleme auftreten, können Abhängigkeiten und Schnittstellen genauer überprüft und eine funktionierende Zusammenarbeit der Module sichergestellt werden, bevor das Produkt auf das Zielsystem gespielt wird.

Nachdem die Unit- und Integrationstests erfolgreich durchlaufen wurden, geht es in der nächsten Stufe darum, das gesamte System auf Fehlverhalten zu prüfen. Das nennt man System Testing. Hier wird die Anwendung in einer produktionsähnlichen Umgebung getestet – idealerweise identisch zu der tatsächlichen Umgebung. Zusätzlich werden Parameter wie Performance und Sicherheit überprüft, die in der Produktionsumgebung eine signifikante Rolle spielen. 

End-to-End-Tests (e2e-Tests), unter anderem mit Tools wie Selenium (für Webanwendungen) oder LoadRunner (für Performance-Tests), helfen dabei, die Anwendung unter realen Bedingungen zu testen. Bei e2e-Tests wird reales Nutzerverhalten simuliert, im Falle von Selenium werden Benutzerinteraktionen wie Klicks, Benutzereingaben und Navigationen nachgeahmt.
Loadrunner fokussiert sich hingegen auf simulierte Nutzlasten und misst Antwortzeit, Durchsatz Leistungszahlen.

Auch wenn alle vorherigen Tests erfolgreich waren, gibt es noch eine weitere wichtige Stufe: das Acceptance Testing. Hierbei geht es nicht nur darum, dass die Software funktioniert, sondern dass sie auch den Anforderungen der KundInnen und den Geschäftszielen entspricht. Diese Stufe wird oft von KundInnen oder einer dedizierten Benutzergruppe durchgeführt, mit dem Fokus auf Benutzerakzeptanz und geforderten Funktionalitäten. Fehler sollten in dieser Phase nicht mehr auftreten. Ist diese Stufe erfolgreich abgeschlossen und das Produkt abgenommen, ist die Software bereit für das Produktivsystem.

Beliebte Testing-Methoden und -Frameworks

Nun, da wir die Grundlagen und Stufen kennen, wollen wir uns anschauen, wie wir Testing effektiv in den Entwicklungsprozess integrieren können. Zwei der bekanntesten Ansätze sind Test-Driven Development (TDD) und Behavior-Driven Development (BDD).

Test-Driven Development (TDD) wurde in den späten 1990er Jahren von Kent Beck als Teil der Extreme Programming (XP)-Methodologie entwickelt. Der Grundgedanke ist simpel: Bevor eine Zeile Code geschrieben wird, werden die Tests definiert. Der Code wird dann so entwickelt, dass diese Tests erfolgreich durchlaufen werden. Dieses Vorgehen gewährleistet, dass jede Komponente ihre gewünschte Funktionalität erfüllt, bevor sie in das Gesamtsystem integriert wird.

Behavior-Driven Development (BDD) geht noch einen Schritt weiter. Die Tests werden in einer leicht verständlichen Sprache formuliert, sodass auch Nicht-TechnikerInnen ein klares Bild davon bekommen, wie die Software funktionieren soll. So können EntwicklerInnen, TesterInnen und Fachabteilungen gemeinsam auf das gleiche Ziel hinarbeiten.

In diesem Kontext sind auch die Frameworks Selenium und JUnit zentral. Selenium eignet sich auch für sehr große Plattformen, um unzählige Benutzerinteraktionen zu simulieren. So kann sichergestellt werden, dass die Plattform auch unter Last stabil bleibt, bevor sie auf der Produktivsystem geht. Selenium ist ideal für End-to-End-Tests, um zu überprüfen, wie Webanwendungen unter verschiedenen Bedingungen reagieren.

Auf der anderen Seite verwendet Spotify automatisierte Tests (z.B. JUnit), bei denen auch TDD zum Einsatz kommen kann, um die Stabilität ihres Backends sicherzustellen. Durch die Kombination von TDD und JUnit können sie mehrfach täglich Deploys durchführen, ohne in Gefahr zu laufen, dass unerwartete Fehler die Nutzererfahrung beeinträchtigen. JUnit ermöglicht automatisierte Tests, die kontinuierlich während der Entwicklung ausgeführt werden. Seine Stärke liegt in der Einfachheit und Flexibilität. Tests lassen sich schnell schreiben, und durch den Vergleich der erwarteten und tatsächlichen Ergebnisse kann sichergestellt werden, dass der Code wie vorgesehen funktioniert.

Ergänzend muss man in dem Kontext von Testing Methoden auch noch die Begriffe White- und Blackbox Testing erwähnen.
Beim Whitebox Testing kennt der Tester die interne Struktur und den Code der Anwendung und testet gezielt bestimmte Codepfade, Logik und Kontrollflüsse.

Beim Blackbox Testing hat der Tester keine Kenntnis von der internen Struktur der Anwendung und testet nur die Funktionalität basierend auf den Anforderungen und Spezifikationen. Es wird oft von Qualitätssicherungs-Teams durchgeführt, um zu prüfen, ob das System wie erwartet funktioniert, ohne den Code zu betrachten.

Herausforderungen bei Software Testing

Soweit, so gut – doch in der Realität stoßen viele EntwicklerInnenteams auf Herausforderungen, die nicht so leicht zu bewältigen sind. Zeitdruck und knappe Ressourcen lassen oft kaum Spielraum, eine ausreichende Testabdeckung zu erreichen. Die Entwicklung der Kernfunktionalitäten nimmt bereits die meiste Zeit in Anspruch, und komplexe Software-Systeme erschweren eine vollständige Abdeckung zusätzlich.

Kontinuierlich wandelnde Anforderungen bei der Entwicklung schaffen zusätzlichen Mehraufwand: Tests, die gestern noch relevant waren, können heute schon veraltet sein. Sowohl beim manuellen als auch beim automatisierten Testen bleibt oft die Kreativität der NutzerInnen unterschätzt, die immer wieder unerwartete Bugs provozieren können. Besonders bei komplexen Systemen, die aus vielen verschiedenen Blickwinkeln betrachtet werden müssen.

Wie kann man hier Abhilfe schaffen?

• Teste kritische Systeme und automatisiere, wo es sinnvoll ist.
• Nutze Code-Coverage-Tools, um sicherzustellen, dass die wichtigsten Bereiche abgedeckt werden, und kombiniere manuelles und automatisiertes Testen.
• Überlege vor Beginn eines Projekts, ob sich die Implementierung von TDD oder BDD im Workflow lohnt – diese Ansätze minimieren bereits während der Entwicklung das Risiko von Bugs.
• Implementiere eine CI/CD-Pipeline, um regelmäßige, automatisierte Tests zu ermöglichen.
• Wenn Ressourcen knapp sind oder die Komplexität zu hoch wird, konzentriere dich auf die kritischsten und fehleranfälligsten Teile der Software.

Zusammenfassung und Ausblick

Wie sieht die Zukunft von Software Testing aus?

Mit den Fortschritten in der Künstlichen Intelligenz (KI) lässt sich vermuten, dass KI-gestützte Tools die Generierung von Testfällen und die Vorhersage von Fehlern erheblich optimieren werden. Doch natürlich erfordert der Einsatz von KI eine vorausschauende Herangehensweise – Vorsicht, Kontrolle und Bedacht sind dabei essenziell.

Auch die rasante Entwicklung neuer Technologien wird die Art und Weise, wie Tests automatisiert werden, verändern. Code-Coverage-Tools werden noch intelligenter und einfacher in der Anwendung, während das Verständnis für die neuesten Frameworks und deren spezifische Einsatzbereiche entscheidend bleibt.

Ein weiterer Trend ist der zunehmende Einsatz von Containerisierung und Virtualisierung. Tools wie Docker und Kubernetes ermöglichen es, Testumgebungen schnell und effizient zu erstellen, was zu flexibleren und skalierbaren Tests führt. Dies erleichtert insbesondere das Überprüfen in komplexen Umgebungen, die produktionsnah simuliert werden müssen.

Mit der wachsenden Menge an Technologie wird auch das Security Testing immer wichtiger. Mehr Technologie bedeutet zwangsläufig mehr potenzielle Schwachstellen. Daher wird der Fokus auf effektive Absicherungsstrategien in Zukunft noch stärker in den Vordergrund rücken.

Hast Du Fragen zu den Herausforderungen oder Trends im Software Testing? Teile Deine Gedanken und Erfahrungen mit uns!