Ad-hoc-Tests sind eine Art von Softwaretests, die Entwickler und Softwareunternehmen bei der Überprüfung der aktuellen Iteration der Software durchführen. Diese Form des Testens ermöglicht einen tieferen Einblick in das Programm und zeigt Probleme auf, die bei herkömmlichen Tests möglicherweise nicht erkannt werden.
Es ist von entscheidender Bedeutung, dass die Testteams den Prozess der Ad-hoc-Tests vollständig verstehen, damit sie wissen, wie sie die damit verbundenen Herausforderungen umgehen und sicherstellen können, dass das Team diese Technik erfolgreich einsetzen kann.
Wenn ein Unternehmen genau weiß, wie Ad-hoc-Tests funktionieren und welche Tools ihre Durchführung erleichtern können, kann es seine eigenen Qualitätssicherungsverfahren kontinuierlich verbessern. Der formale Testprozess folgt sehr spezifischen Regeln, was dazu führen kann, dass das Team bestimmte Fehler übersieht – mit Ad-hoc-Prüfungen können diese blinden Flecken umgangen und jede Softwarefunktion schnell getestet werden.
In diesem Artikel nehmen wir Ad-hoc-Tests unter die Lupe und zeigen, wie Sie sie bei der Entwicklung eines Softwareprodukts zu Ihrem Vorteil nutzen können.
Ad-Hoc-Tests Bedeutung: Was sind Ad-Hoc-Tests?
Ad-hoc-Tests sind ein Qualitätssicherungsprozess, der ohne formale Regeln und Dokumentation auskommt und den Testern hilft, Fehler in ihrer Anwendung zu finden, die mit herkömmlichen Methoden nicht erkannt werden können. Dies erfordert in der Regel umfassende Kenntnisse der Software, bevor die Tests beginnen – einschließlich eines Verständnisses der inneren Funktionsweise des Programms. Diese Ad-hoc-Prüfungen zielen darauf ab, die Anwendung auf eine Art und Weise zu brechen, die die Benutzereingaben widerspiegelt und verschiedene potenzielle Situationen berücksichtigt, so dass die Entwickler alle bestehenden Probleme beheben können.
Das Fehlen einer Dokumentation ist ein zentrales Merkmal dieser Technik, die keine Checkliste oder Testfälle enthält, um die Tester durch die Funktionen einer Anwendung zu führen. Bei Ad-hoc-Tests geht es ausschließlich darum, die Software auf die Art und Weise zu testen, die ein Team zu diesem Zeitpunkt als effektiv erachtet. Dabei könnten bereits bestehende formale Tests berücksichtigt werden, es könnte aber auch einfach darum gehen, in der (wahrscheinlich begrenzten) Zeit, die für diese Technik zur Verfügung steht, so viele Tests wie möglich durchzuführen.
1. Wann und warum sind Ad-hoc-Tests beim Softwaretest erforderlich?
Der Hauptgrund, warum Unternehmen Ad-hoc-Tests durchführen, liegt darin, dass damit Fehler aufgedeckt werden können, die mit herkömmlichen Methoden nicht gefunden werden. Dafür kann es viele Gründe geben, z. B. konventionelle Testfälle, die einem besonders standardisierten Prozess folgen, der die Eigenheiten einer Anwendung nicht berücksichtigen kann.
Jede Testart kann neue Perspektiven und interessante Ansätze zur Qualitätssicherung bieten – dies zeigt auch Probleme mit der üblichen Teststrategie auf. Wenn beispielsweise durch Ad-hoc-Tests ein Problem identifiziert werden kann, das durch die Testfälle des Teams nicht abgedeckt wird, deutet dies darauf hin, dass eine Neukalibrierung der Testmethodik von Vorteil sein könnte.
Die Prüfer können an jedem Punkt des Prüfprozesses Ad-hoc-Prüfungen durchführen. Dies dient in der Regel als Ergänzung zur traditionellen (und formelleren) Qualitätssicherung, und in diesem Sinne können die Prüfer Ad-hoc-Inspektionen durchführen, während ihre Kollegen formellere Prüfungen vornehmen. Vielleicht ziehen sie es aber auch vor, Ad-hoc-Kontrollen bis nach dem formalen Testprozess aufzusparen, um gezielt auf potenzielle Schwachstellen zu reagieren.
Ad-hoc-Tests können auch dann sinnvoll sein, wenn die Zeit aufgrund fehlender Dokumentation besonders knapp ist – der richtige Zeitpunkt hängt vom Unternehmen und seinem bevorzugten Ansatz ab.
2. Wenn Sie keine Ad-hoc-Tests durchführen müssen
Wenn nicht genügend Zeit zur Verfügung steht, um sowohl Ad-hoc- als auch formale Tests durchzuführen, ist es wichtig, dass das Team letzteren den Vorrang gibt, da so eine umfassende Testabdeckung gewährleistet ist – auch wenn noch einige Lücken bestehen.
Wenn die formalen Tests des Teams Fehler finden, die behoben werden müssen, ist es im Allgemeinen besser zu warten, bis die Entwickler die notwendigen Änderungen abgeschlossen haben, um Ad-hoc-Prüfungen durchzuführen. Andernfalls könnten die Ergebnisse, die sie liefern, bald veraltet sein, insbesondere wenn die Tests sich auf die Komponente beziehen, die bereits Fehler aufweist.
Darüber hinaus müssen Ad-hoc-Tests vor der Betaphase durchgeführt werden.
3. Wer ist an Ad-hoc-Tests beteiligt?
Am Ad-Hoc-Testing-Prozess sind mehrere Schlüsselrollen beteiligt, darunter:
– Softwaretester sind die wichtigsten Teammitglieder, die Ad-hoc-Prüfungen durchführen. Bei Buddy- oder Paartests arbeiten mehrere dieser Tester gemeinsam an denselben Komponenten.
– Die Entwickler können diese Prüfungen vor der formalen Qualitätssicherungsphase unabhängig voneinander nutzen, um ihre eigene Software schnell zu überprüfen, auch wenn dies weniger gründlich ist als spezielle Ad-hoc-Tests.
– Die Team- oder Abteilungsleiter genehmigen die allgemeine Teststrategie und helfen den Testern bei der Entscheidung, wann sie mit den Ad-hoc-Tests beginnen und wie sie diese durchführen sollen, ohne andere Prüfungen zu stören.
Vorteile von Ad-Hoc-Tests
Zu den Vorteilen von Ad-hoc-Tests bei Softwaretests gehören:
1. Schnelle Auflösungen
Da diese Tests keine häufige Dokumentation vor, während oder nach den Prüfungen erfordern, können die Teams Probleme viel schneller erkennen. Diese Einfachheit bietet den Testern eine enorme Freiheit.
Wenn beispielsweise eine Komponente getestet wird und keine Fehler festgestellt werden können, kann das Team einfach zum nächsten Test übergehen, ohne dies in einem Dokument zu vermerken.
2. Ergänzt andere Testarten
Keine Teststrategie ist perfekt, und eine 100-prozentige Abdeckung ist in der Regel unmöglich zu erreichen – selbst mit einem umfassenden Zeitplan. Es wird immer Lücken in den herkömmlichen Tests geben, daher ist es wichtig, dass die Unternehmen mehrere Ansätze integrieren.
Ad-hoc-Tests zielen speziell darauf ab, die Probleme zu finden, die durch formale Tests nicht abgedeckt werden können, um eine breitere Testabdeckung zu gewährleisten.
3. Flexible Ausführung
Ad-hoc-Tests können zu jedem beliebigen Zeitpunkt im Qualitätssicherungsprozess vor dem Betatest durchgeführt werden, so dass Unternehmen und Teams selbst entscheiden können, wann sie diese Prüfungen am besten durchführen. Sie können sich dafür entscheiden, Ad-hoc-Tests parallel zu konventionellen Tests durchzuführen, oder sie können damit warten, bis die Tests abgeschlossen sind – in jedem Fall profitiert das Team von den Möglichkeiten, die ihm zur Verfügung stehen.
4. Verstärkte Zusammenarbeit
Die Entwickler sind an diesem Prozess stärker beteiligt als an vielen anderen Formen des Testens – vor allem, wenn das Unternehmen Buddy- und Paartests einsetzt.
Dadurch erhalten die Entwickler einen besseren Einblick in ihre eigenen Anwendungen und sind möglicherweise in der Lage, Fehler auf einem höheren Niveau zu beheben. Dies trägt dazu bei, die Gesamtqualität der Software noch weiter zu verbessern.
5. Vielfältige Perspektiven
Ad-hoc-Tests können die Anwendung aus neuen Blickwinkeln zeigen und den Testern helfen, sich auf neue Weise mit diesen Funktionen auseinanderzusetzen. Zusätzliche Perspektiven sind während der Prüfung von entscheidender Bedeutung, da formale Prüfungen oft zumindest kleine Lücken aufweisen.
Wenn Ad-hoc-Tester die Software mit der gezielten Absicht verwenden, sie zu knacken, können sie die Grenzen des Programms leichter aufzeigen.
Herausforderungen bei Ad-hoc-Tests
Die Ad-hoc-Prüfung birgt auch einige Herausforderungen, wie zum Beispiel:
1. Schwierigkeiten bei der Berichterstattung
Das Fehlen einer Dokumentation macht Ad-hoc-Tests viel schneller, kann aber auch die Berichterstattung bei anderen als größeren Problemen erschweren.
So kann zum Beispiel eine zuvor durchgeführte Prüfung zu einem späteren Zeitpunkt an Bedeutung gewinnen, obwohl sie zunächst zu keinen signifikanten Ergebnissen führte. Ohne umfassende Dokumentation ist das Team möglicherweise nicht in der Lage, diese Tests zu erklären.
2. Weniger wiederholbar
Ebenso kann es sein, dass die Tester nicht genau wissen, welche Bedingungen notwendig sind, um die von ihnen beobachteten Reaktionen hervorzurufen. So kann eine Ad-hoc-Prüfung, die einen Fehler ergibt, dem Team nicht genügend Informationen liefern, um Maßnahmen zu ergreifen. Sie wissen vielleicht nicht, wie sie diesen Test wiederholen können, um das gleiche Ergebnis zu erhalten.
3. Erfordert Software-Erfahrung
Da es bei Ad-hoc-Tests auf Schnelligkeit ankommt und in der Regel versucht wird, die Anwendung zu knacken, ist es wichtig, dass diese Tester das Programm genau kennen.
Die Kenntnis der Funktionsweise ermöglicht es den Testern, die Software auf mehr Arten zu brechen und zu manipulieren, was jedoch die Anforderungen an die Fähigkeiten bei Ad-hoc-Tests deutlich erhöhen könnte.
4. Begrenzte Rechenschaftspflicht
Ein Mangel an Dokumentation kann nicht nur zu schlechten Berichten führen, sondern auch den Testprozess ungewollt verlängern und die Nützlichkeit von schnellen individuellen Ad-hoc-Tests beeinträchtigen.
Ohne eine ausreichende Dokumentation der einzelnen Phasen ist es für die Prüfer schwierig, den Überblick über ihre Fortschritte zu behalten. Dies kann sogar dazu führen, dass sie eine Prüfung wiederholen, die andere Prüfer bereits abgeschlossen haben.
5. Spiegelt möglicherweise nicht die Erfahrungen der Nutzer wider
Das Ziel praktisch aller Testarten ist es, Fehler zu finden, die sich auf den Endbenutzer auswirken. Ad-hoc-Tests beruhen in erster Linie darauf, dass ein erfahrener Tester versucht, einen unerfahrenen Benutzer zu emulieren, und dies sollte bei jedem Check-up bis hin zu den Versuchen, die Anwendung zu zerstören, konsistent sein.
Merkmale von Ad-hoc-Tests
Zu den wichtigsten Merkmalen erfolgreicher Ad-hoc-Tests gehören:
1. Nachforschungen
Bei den Ad-hoc-Tests geht es in erster Linie darum, Fehler in der Anwendung mit Hilfe von Techniken zu erkennen, die bei herkömmlichen Prüfungen nicht berücksichtigt werden. Ad-hoc-Prüfungen durchforsten diese Software mit dem ausdrücklichen Ziel, Lücken im Testverfahren des Teams zu finden, einschließlich der Abdeckung ihrer Testfälle.
2. Unstrukturiert
Ad-hoc-Prüfungen haben in der Regel keinen festen Plan, der über die Durchführung möglichst vieler Tests außerhalb der typischen Grenzen der formalen Qualitätssicherung hinausgeht. Die Prüfer gruppieren die Prüfungen der Einfachheit halber nach Komponenten, aber auch das ist nicht notwendig – sie können sich die Prüfungen sogar während der Durchführung ausdenken.
3. Erfahrungsbasiert
Ad-hoc-Tester nutzen ihre bereits vorhandene Software-Erfahrung, um zu beurteilen, welche Tests den größten Nutzen bringen und die häufigsten blinden Flecken bei formalen Tests beseitigen.
Obwohl der Testprozess noch völlig unstrukturiert ist, wenden die Tester bei der Festlegung ihrer Strategie unter anderem ihr Wissen aus früheren Ad-hoc-Prüfungen an.
4. Breites Spektrum
Es gibt keine genauen Richtlinien dafür, welche Prüfungen das Team während der Ad-hoc-Tests durchführen sollte, aber sie decken in der Regel eine Reihe von Komponenten ab – möglicherweise mit einem stärkeren Fokus auf die sensibleren Aspekte der Anwendung. So können die Prüfer sicherstellen, dass ihre Prüfungen die formalen Tests in vollem Umfang ergänzen.
Was testen wir in Ad-Hoc-Tests?
Qualitätssicherungs-Teams testen im Rahmen von Ad-hoc-Tests in der Regel Folgendes:
1. Software-Qualität
Diese Prüfungen zielen darauf ab, Fehler in der Anwendung zu erkennen, die durch herkömmliche Tests nicht aufgedeckt werden können; das heißt, der Prozess testet hauptsächlich den allgemeinen Zustand der Anwendung.
Je mehr Fehler durch Ad-hoc-Tests aufgespürt werden können, desto mehr Verbesserungen können die Entwickler noch vor dem Abgabetermin umsetzen.
2. Testfälle
Bei Ad-hoc-Tests werden in der Regel keine Testfälle implementiert – und zwar genau deshalb, damit das Team untersuchen kann, wie effektiv sie sind, um eine ausreichende Abdeckung zu gewährleisten. Die Testfälle sind wahrscheinlich unzureichend, wenn durch Ad-hoc-Prüfungen Fehler gefunden werden können, die mit herkömmlichen Testverfahren nicht möglich sind.
3. Prüfpersonal
Das Ziel könnte auch sein, die Fähigkeiten und Kenntnisse des Testteams zu überprüfen, selbst wenn die Testfälle angemessen sind. So kann beispielsweise ihre Methodik zur Implementierung der Fälle unzureichend sein, und Ad-hoc-Tests können entscheidend sein, um die daraus resultierenden Lücken in der Testabdeckung zu schließen.
4. Software-Grenzen
Bei Ad-hoc-Tests geht es auch darum, die Grenzen der Anwendung zu verstehen – etwa wie sie auf unerwartete Eingaben oder hohe Systemlasten reagiert. Die Tester könnten speziell die Fehlermeldungen des Programms untersuchen und wie gut diese Anwendung unter erheblichem Druck funktioniert.
Um einige Unklarheiten zu beseitigen:
Ad-hoc-Tests und explorative Tests
Manche Leute betrachten Ad-hoc- und Sondierungstests als Synonyme, obwohl die Wahrheit komplizierter ist.
1. Was sind Sondierungstests?
Exploratives Testen bezieht sich auf Qualitätssicherungsverfahren, die die Software aus einer ganzheitlichen Sichtweise heraus untersuchen und insbesondere die Entdeckungs- und Testprozesse in einer einzigen Methode kombinieren. Dies ist in der Regel ein Mittelweg zwischen vollständig strukturierten Tests und völlig frei gestalteten Ad-hoc-Prüfungen.
Sondierungstests eignen sich am besten für bestimmte Szenarien, z. B. wenn ein schnelles Feedback erforderlich ist oder wenn das Team sich mit Randfällen befassen muss. Diese Art von Tests entfaltet ihr volles Potenzial in der Regel, wenn das Team zusätzlich geskriptete Tests verwendet.
2. Unterschiede zwischen explorativen Tests
und Ad-Hoc-Tests
Der größte Unterschied zwischen Ad-hoc- und Sondierungstests besteht darin, dass bei Ad-hoc-Tests eine Dokumentation zur Aufzeichnung und Erleichterung der Prüfungen verwendet wird, während dies bei Sondierungstests vollständig vermieden wird. Beim explorativen Testen wird mehr Wert auf die Testfreiheit gelegt, aber nie auf demselben Niveau wie bei einem Ad-hoc-Ansatz, der völlig unstrukturiert ist.
Beim explorativen Testen geht es auch darum, die Anwendung und ihr Innenleben kennenzulernen – Ad-hoc-Tester hingegen verfügen oft schon über ein umfassendes Wissen über die Funktionalität der Software, bevor sie beginnen.
Arten von Ad-Hoc-Tests
Es gibt drei Hauptformen von Ad-hoc-Tests bei Softwaretests, darunter:
1. Affenversuche
Die vielleicht beliebteste Art von Ad-hoc-Tests sind Monkey-Tests, bei denen ein Team nach dem Zufallsprinzip verschiedene Komponenten prüft.
Dies geschieht in der Regel während des Unit-Testing-Prozesses und führt eine Reihe von Prüfungen ohne Testfälle durch. Die Tester untersuchen die Daten unabhängig und völlig unstrukturiert und können so das System im Allgemeinen und seine Fähigkeit, starken Belastungen durch Benutzereingaben standzuhalten, untersuchen.
Die Beobachtung des Outputs dieser ungeschriebenen Techniken hilft dem Testteam, Fehler zu erkennen, die anderen Unit-Tests aufgrund von Unzulänglichkeiten herkömmlicher Testmethoden entgangen sind.
2. Buddy-Tests
In einem Ad-hoc-Kontext kommen bei Buddy-Tests mindestens zwei Mitarbeiter zum Einsatz – in der Regel ein Tester und ein Entwickler – und finden in erster Linie nach der Unit-Test-Phase statt. Die „Buddies“ arbeiten gemeinsam an demselben Modul, um Fehler zu finden. Ihre vielfältigen Fähigkeiten und ihre umfassende Erfahrung machen sie zu einem effektiveren Team, das dazu beiträgt, viele der Probleme, die durch einen Mangel an Dokumentation entstehen, zu verringern.
Der Entwickler kann sogar einige der Tests selbst vorschlagen, um die Komponenten zu identifizieren, die möglicherweise mehr Aufmerksamkeit benötigen.
3. Paartest
Am Pair Testing sind ebenfalls zwei Mitarbeiter beteiligt, allerdings handelt es sich in der Regel um zwei separate Tester, von denen einer die eigentlichen Tests durchführt, während der andere Notizen macht.
Auch ohne formale Dokumentation kann das Team mit Hilfe von Notizen informell den Überblick über einzelne Ad-hoc-Kontrollen behalten. Die Rollen des Prüfers und des Schreibers können je nach Prüfung wechseln, oder die beiden behalten ihre zugewiesenen Rollen während des gesamten Prozesses bei.
Der Prüfer mit der größeren Erfahrung führt in der Regel die eigentlichen Prüfungen durch – allerdings teilen sie sich die Arbeit immer untereinander auf.
Manuelle oder automatisierte Ad-Hoc-Tests?
Durch automatisierte Tests können Teams in der gesamten Qualitätssicherungsphase noch mehr Zeit einsparen, wodurch die Tester mehr Prüfungen in ihren Zeitplan einbauen können. Auch ohne eine bestimmte Struktur ist es wichtig, dass die Tester darauf hinarbeiten, den Abdeckungsgrad zu maximieren, und die Automatisierung fördert eine eingehendere Prüfung dieser Software.
Automatisierte Ad-hoc-Prüfungen sind im Allgemeinen genauer als manuelle Tests, da sie menschliche Fehler bei Routineaufgaben vermeiden – dies ist besonders hilfreich, wenn dieselben Tests in verschiedenen Iterationen durchgeführt werden. Der Erfolg dieses Verfahrens hängt in der Regel davon ab, welches automatische Testwerkzeug das Team auswählt und welche Funktionen es bietet.
Automatisierte Tests haben jedoch gewisse Einschränkungen. Die größte Stärke von Ad-hoc-Tests ist zum Beispiel die Möglichkeit, Benutzereingaben zu emulieren und stichprobenartige Prüfungen durchzuführen, wenn der Tester sie sich ausdenkt. Diese Tests könnten ihre Zufälligkeit verlieren, wenn das Testprogramm der Organisation mit komplexen Prüfungen zu kämpfen hat.
Der Zeitaufwand für die Automatisierung dieser hochspezifischen Aufgaben könnte die typische Zeitersparnis dieses Prozesses ebenfalls begrenzen. Es ist wichtig, dass die Teams die verfügbaren Automatisierungstools gründlich untersuchen, um ein für das Projekt ihres Unternehmens geeignetes zu finden.
Was brauchen Sie, um mit Ad-hoc-Tests zu beginnen?
Hier sind die wichtigsten Voraussetzungen für Ad-hoc-Tests:
1. Qualifiziertes Personal
Da es sich bei Ad-hoc-Tests um schnelle, stichprobenartige Inspektionen des Innenlebens der Software handelt, ist es in der Regel hilfreich, wenn die Tester über Erfahrung mit der Software verfügen. Sie sollten auch die wichtigsten Prüfprinzipien kennen, damit sie die wirksamsten Prüfungen leicht erkennen können.
2. Ein unstrukturierter Ansatz
Die Tester müssen bereit sein, ihre üblichen Strategien für Ad-hoc-Tests aufzugeben; diese Einstellung ist ebenso entscheidend wie die Qualitätsprüfungen selbst. Diese Methode kann nur ohne Struktur und Dokumentation erfolgreich sein, und es ist wichtig, dass die Tester dies in jeder Phase berücksichtigen.
3. Automatisierungssoftware
Obwohl Ad-hoc-Tests eher auf dem Testen zufälliger Eingaben und Bedingungen beruhen, ist die Automatisierung in jedem Kontext eine sehr effektive Technik.
Aus diesem Grund sollten auch bei Ad-hoc-Kontrollen nach Möglichkeit automatisierte Prüfwerkzeuge eingesetzt werden, da die richtige Anwendung den Prozess erheblich rationalisieren kann.
4. Andere Formen der Prüfung
Ad-hoc-Tests lassen sich am besten mit anderen Prüfungen kombinieren, die einen eher formalen Ansatz verfolgen und dem Team helfen, eine umfassende Abdeckung der gesamten Software zu gewährleisten. Es ist wichtig, dass die Tester verschiedene Techniken mischen, sei es vor, während oder nach Abschluss der Ad-hoc-Tests.
Ad-Hoc-Testverfahren
Die üblichen Schritte, die Tester befolgen sollten, wenn sie Ad-hoc-Tests bei Softwaretests durchführen, sind:
1. Definition von Ad-hoc-Testzielen
Diese Phase ist aufgrund der fehlenden Dokumentation und Struktur begrenzt, aber es ist immer noch von entscheidender Bedeutung, dass das Team einen klaren Fokus hat. Die Tester können anfangen, vage Ideen darüber auszutauschen, welche Tests durchgeführt werden sollen und welche Komponenten Vorrang haben müssen.
2. Auswahl des Ad-hoc-Testteams
Während das Team eine Reihe potenzieller Ad-hoc-Prüfungen durchdenkt, überlegt es auch, welche Tester sich am besten für diese Art von Tests eignen würden. Sie wählen in der Regel Tester aus, die die Anwendung genau verstehen, und können sie auch mit einem Entwickler zusammenbringen.
3. Ausführen von Ad-hoc-Tests
Nachdem entschieden wurde, welche Tester für diese Phase geeignet sind, beginnen diese Teammitglieder ihre Prüfungen an einem vereinbarten Punkt der Prüfung. Ihr Ziel ist es, so viele Ad-hoc-Prüfungen wie möglich durchzuführen, die die Prüfer möglicherweise erst in dieser Phase entwickeln.
4. Auswertung der Testergebnisse
Nach Abschluss der Tests (oder auch zwischen einzelnen Prüfungen) werten die Tester die Ergebnisse aus, ohne sie jedoch formell in einem Testfall zu dokumentieren. Wenn sie Probleme mit dem Antrag entdecken, nehmen sie diese informell auf und besprechen die nächsten Schritte des Teams.
5. Meldung aller entdeckten Fehler
Nach der Auswertung der Ergebnisse müssen die Tester die Entwickler über die in der Software vorhandenen Fehler informieren, damit sie genügend Zeit haben, diese vor der Veröffentlichung zu beheben.
Das Testteam nutzt die Informationen auch, um festzustellen, wie es seine formalen Testverfahren verbessern kann.
6. Wiederholung der Tests nach Bedarf
Das Testteam wird wahrscheinlich den Ad-hoc-Prozess für neue Iterationen der Anwendung wiederholen, um zu prüfen, wie gut sie mit Aktualisierungen umgehen kann. Da die Prüfer viele der zuvor festgestellten Lücken in ihren Testfällen behoben haben werden, könnten künftige Ad-hoc-Prüfungen einen anderen Ansatz erfordern.
Bewährte Praktiken für Ad-Hoc-Tests
Es gibt bestimmte Praktiken, die Testteams bei Ad-hoc-Tests anwenden sollten, darunter:
1. Potenzielle Testlücken ausfindig machen
Obwohl Ad-hoc-Tests viel weniger Planung erfordern als andere Arten von Tests, zielt das Team dennoch darauf ab, Mängel in der Qualitätssicherung zu beheben. Wenn die Ad-hoc-Tester bestimmte Probleme mit den Testfällen des Teams vermuten, sollten sie diese bei der Durchführung ihrer Prüfungen vorrangig behandeln.
2. Automatisierungssoftware in Betracht ziehen
Automatisierungsstrategien wie die Hyperautomatisierung können Unternehmen, die Ad-hoc-Tests durchführen wollen, viele Vorteile bieten.
Ob dies gelingt, hängt von mehreren Schlüsselfaktoren ab, u. a. von dem Tool, das das Unternehmen wählt, sowie von der allgemeinen Komplexität seiner Ad-hoc-Tests.
3. Machen Sie umfassende Notizen
Das Fehlen einer Dokumentation bei Ad-hoc-Tests dient hauptsächlich dazu, diesen Prozess noch weiter zu rationalisieren – das Team könnte davon profitieren, wenn es sich während der Durchführung informelle Notizen macht. Dadurch erhalten die Prüfer eine klare Aufzeichnung dieser Prüfungen und ihrer Ergebnisse, was ihre Wiederholbarkeit insgesamt erhöht.
4. Weitere Verfeinerung der Tests
Ad-hoc-Tester verfeinern ihren Ansatz kontinuierlich, um Änderungen in der Teststrategie des Teams zu berücksichtigen. Bei der Betrachtung neuerer Versionen der Unternehmenssoftware könnten sie diese Prüfungen beispielsweise an neuere und umfassendere formale Testfälle anpassen.
7 Fehler und Fallstricke bei der Implementierung
Ad-hoc-Tests
Wie bei jedem Testverfahren gibt es eine ganze Reihe möglicher Fehler, die das Team vermeiden sollte, z. B:
1. Unerfahrene Prüfer
Um das erwartete Tempo der Ad-hoc-Tests aufrechtzuerhalten, muss der Teamleiter die Tester auf der Grundlage ihrer Kenntnisse und Fähigkeiten zuweisen. Während viele Formen des Testens von Qualitätssicherungsmitarbeitern auf Einstiegsebene durchgeführt werden können, erfordern Ad-hoc-Prüfungen Teammitglieder, die die Software vollständig verstehen, vorzugsweise mit Erfahrung in der Durchführung dieser Tests.
2. Unscharfe Kontrollen
Ad-hoc-Tests können die Testabdeckung aufgrund ihres schnelleren Tempos erheblich verbessern – das Team muss nicht vor und nach jeder Prüfung eine umfangreiche Dokumentation ausfüllen.
Die Ad-hoc-Tester müssen sich jedoch nach wie vor stark konzentrieren; so könnten sie beispielsweise beschließen, bestimmten Komponenten mit einem höheren Fehlerrisiko Vorrang einzuräumen.
3. Keine Planung
Der Verzicht auf jeden Plan kann die Wirksamkeit von Ad-hoc-Tests einschränken. Trotz des unstrukturierten Charakters dieses Ansatzes ist es wichtig, dass das Team eine grobe Vorstellung davon hat, welche Tests durchgeführt werden sollen, bevor sie beginnen.
Während dieses Prozesses ist die Zeit begrenzt, und wenn man weiß, wie man vorgehen muss, kann das viele Vorteile bringen.
4. Übermäßig strukturiert
Am anderen Ende des Spektrums stützt sich dieser Ansatz in der Regel auf einen Mangel an Planung, da dies den Testern hilft, Testfälle aktiv zu unterlaufen und versteckte Fehler zu finden.
Ad-hoc-Tests sind auch als Zufallstests bekannt, und das Erzwingen einer Struktur könnte verhindern, dass diese Prüfungen Fehler aufspüren.
5. Keine langfristigen Änderungen
Der Zweck von Ad-hoc-Tests besteht darin, Schwachstellen in den Testfällen des Teams zu ermitteln; dabei wird die Gesamtstrategie ebenso untersucht wie die Software selbst.
Dies bedeutet jedoch, dass Ad-hoc-Tests in der Regel nur dann effektiv sind, wenn das Team diese Informationen nutzt, um seine formalen Prüfungen im Laufe der Zeit zu verfeinern.
6. Inkompatible Datensätze
Praktisch jede Form des Testens erfordert eine Form von simulierten Daten, um zu beurteilen, wie die Anwendung reagiert; einige Tools ermöglichen es den Testern, ein Programm automatisch mit Scheindaten zu bestücken.
Dies spiegelt jedoch möglicherweise nicht die Art und Weise wider, wie ein Benutzer mit der Software umgehen würde – Ad-hoc-Prüfungen erfordern Datensätze, auf die die Software wahrscheinlich stoßen wird.
7. Informationssilos
Es ist wichtig, dass die Tester und die Entwickler in ständiger Kommunikation miteinander stehen, auch wenn letztere nicht in den Ad-hoc-Testprozess eingebunden sind.
Auf diese Weise kann jeder nachvollziehen, welche Tests bereits durchgeführt wurden, und es wird aufgezeigt, welche Maßnahmen als Nächstes zu ergreifen sind, während gleichzeitig verhindert wird, dass die Prüfer bestimmte Prüfungen unnötig wiederholen.
Arten von Ergebnissen aus Ad-Hoc-Tests
Die Ad-hoc-Kontrollen führen zu verschiedenen Ergebnissen, darunter:
1. Testergebnisse
Die einzelnen Tests führen zu unterschiedlichen Ergebnissen, die von der jeweiligen Komponente und dem jeweiligen Ansatz abhängen – dies kann viele Formen annehmen.
Normalerweise liegt es in der Verantwortung des Testers, festzustellen, ob die Ergebnisse einen Fehler darstellen, obwohl es aufgrund fehlender Dokumentation schwierig ist, dies mit den Erwartungen zu vergleichen. Das Team gibt diese Ergebnisse an die Entwickler weiter, wenn sie Probleme feststellen.
2. Testprotokolle
Die Software selbst verwendet ein kompliziertes System interner Protokolle, um Benutzereingaben zu überwachen und eine Reihe von Datei- oder Datenbankproblemen aufzuzeigen, die auftreten könnten.
Dies könnte auf einen internen Fehler hindeuten, einschließlich des spezifischen Teils der Software, der das Problem verursacht. Mit diesen Informationen können Ad-hoc-Tester und Entwickler die von ihnen entdeckten Probleme viel leichter angehen.
3. Fehlermeldungen
Viele Ad-hoc-Prüfungen zielen speziell darauf ab, die Software zu brechen und ihre Grenzen aufzuzeigen, so dass die Fehlermeldungen der Anwendung zu den häufigsten Ergebnissen dieser Tests gehören.
Indem das Team absichtlich Fehlermeldungen auslöst, kann es zeigen, was der durchschnittliche Endbenutzer sieht, wenn seine unerwarteten Aktionen negative Auswirkungen auf den Betrieb des Programms haben.
Beispiele für Ad-Hoc-Tests
Im Folgenden finden Sie drei Ad-hoc-Testszenarien, die zeigen, wie ein Team sie für verschiedene Anwendungen umsetzen kann:
1. E-Commerce-Webanwendung
Wenn ein Unternehmen eine E-Commerce-basierte Webanwendung testen möchte, könnte es Ad-hoc-Tests – insbesondere Affentests – durchführen, um zu sehen, wie gut die Plattform mit unerwarteten Benutzerinteraktionen umgehen kann.
Die Tester können versuchen, jede Funktion bis an ihre Grenzen zu treiben, indem sie z. B. Artikel in unrealistischen Mengen in den Warenkorb legen oder versuchen, Produkte zu kaufen, die nicht auf Lager sind. Sie sind nicht durch die Testfälle des Teams eingeschränkt, und es gibt nur wenige Grenzen für die Prüfungen, die sie durchführen können; die Tester könnten sogar versuchen, Käufe mit veralteten URLs abzuschließen.
2. Desktop-Anwendung
Ad-hoc-Tester können diese Techniken auch für Desktop-Anwendungen einsetzen, wobei der Schwerpunkt möglicherweise auf verschiedenen Rechnern liegt und darauf, wie gut sie das Programm jeweils aufnehmen.
Die Teammitglieder können diese Prüfungen wiederholt durchführen, um festzustellen, wie sich veränderte Hardware- oder Softwareeinstellungen auf die Gesamtleistung einer Anwendung auswirken. Zum Beispiel kann eine bestimmte Grafikkarte Schwierigkeiten haben, die Schnittstelle zu rendern.
Alternativ könnten diese Tester ihrem Programm einfach unmögliche Eingaben machen und sehen, wie es reagiert, z. B. ob es Fehlermeldungen korrekt anzeigen kann, die dem Endbenutzer das Problem angemessen erklären.
3. Mobile Anwendung
Eine Möglichkeit, wie Ad-hoc-Tester eine mobile Anwendung untersuchen könnten, ist die Prüfung ihrer Sicherheitsprotokolle – sie könnten zum Beispiel versuchen, direkt auf die Entwicklungswerkzeuge der Anwendung zuzugreifen.
Das Team kann versuchen, nicht autorisierte Aktionen durchzuführen, indem es gängige Schlupflöcher und Exploits aufspürt; es könnte speziell Mitarbeiter mit Erfahrung in der App-Sicherheit bitten, dies zu erleichtern.
Dies kann auch Paartests mit den Entwicklern beinhalten, da diese einen Einblick in das Design der App haben und einem Tester die Möglichkeit geben, die Software zu brechen und genau zu zeigen, wo die Sicherheit fehlt.
Arten von erkannten Fehlern und Bugs
durch Ad-hoc-Tests
Ad-hoc-Prüfungen können viele Probleme mit einem Programm aufdecken, wie z. B.:
1. Fehler in der Funktionsweise
Ad-hoc-Tests zur Untersuchung der grundlegenden Funktionen einer Anwendung können schwerwiegende Fehler aufdecken, die sich auf den Umgang der Endnutzer mit der Anwendung auswirken.
Ein Affentest der Zahlungsoptionen einer E-Commerce-Website zeigt beispielsweise die Bedingungen auf, die eine Transaktion verhindern.
2. Leistungsprobleme
Die Tester können gezielt darauf hinarbeiten, Leistungsprobleme im Programm zu erzeugen, indem sie z. B. die Datenbank mit verschiedenen Spam-Eingaben füllen.
Dies könnte sich in einer erheblichen Verzögerung oder sogar in einer allgemeinen Instabilität der Software äußern, was wahrscheinlich zu einem (möglicherweise systemweiten) Absturz führen würde.
3. Probleme mit der Benutzerfreundlichkeit
Diese Prüfungen können auch Fehler in der Benutzeroberfläche und der allgemeinen Benutzererfahrung aufzeigen. Die Benutzeroberfläche einer mobilen App kann beispielsweise auf einem anderen Betriebssystem oder einer anderen Bildschirmauflösung anders aussehen. Eine schlechte Schnittstelle kann dazu führen, dass die Benutzer Schwierigkeiten haben, diese Anwendung zu bedienen.
4. Sicherheitsmängel
Der Zufallscharakter von Ad-hoc-Tests ermöglicht es, eine Reihe von häufigen und seltenen Sicherheitsproblemen abzudecken; ein Tester könnte diese Prüfungen nutzen, um die administrativen Hintertüren eines Programms zu finden.
Alternativ kann die Überprüfung ergeben, dass die Software keine Datenverschlüsselung aufweist.
Gemeinsame Metriken für Ad-hoc-Tests
Ad-hoc-Tests verwenden verschiedene Metriken, um ihre Ergebnisse zu erleichtern, einschließlich:
1. Effizienz der Defekterkennung
Mit dieser Kennzahl wird untersucht, wie effektiv der Testprozess beim Auffinden von Fehlern in jeder Form von Tests ist, einschließlich Ad-hoc-Tests. Die Fehlererkennungseffizienz ist der Prozentsatz der entdeckten Fehler geteilt durch die Gesamtzahl der Probleme – sie zeigt, wie effektiv die Tests sind.
2. Testabdeckungsrate
Eine zusätzliche Funktion von Ad-hoc-Tests besteht darin, den Abdeckungsgrad zu erhöhen, indem Komponenten auf eine Weise geprüft werden, die von den Testfällen nicht berücksichtigt wird. Das bedeutet, dass die Tester auch bestrebt sein werden, die Testabdeckung bei jeder Prüfung so weit wie möglich zu erhöhen.
3. Gesamtdauer der Prüfung
Ad-hoc-Tests sind viel schneller als andere Qualitätssicherungsprozesse – und es ist wichtig, dass die Tester daran arbeiten, diesen Vorteil zu erhalten. Metriken zur Testdauer zeigen den Teammitgliedern, wie sie Zeit sparen und die Vorteile von Ad-hoc-Strategien noch weiter ausbauen können.
4. Unfallrate
Diese Tests zielen oft darauf ab, die Software zu zerstören und einen Absturz oder einen schwerwiegenden Fehler zu verursachen – so können sie über typische Teststrategien hinausgehen und unerwartete Probleme aufdecken. Zu diesem Zweck kann es hilfreich sein zu wissen, wie oft die Software abstürzt und was diese Probleme verursacht.
Die 5 besten Ad-Hoc-Test-Tools
Es gibt viele kostenlose und kostenpflichtige Testwerkzeuge für Ad-hoc-Tests beim Softwaretesten – die besten fünf sind die folgenden:
1. ZAPTEST Free & Enterprise Edition
ZAPTEST ist ein umfassendes Softwaretestprogramm, das sowohl in der kostenlosen Version als auch in der Unternehmensversion ein hohes Maß an Test- und RPA-Funktionalität bietet.
Diese umfassende Software-Automatisierungs- und RPA-Suite ermöglicht vollständige Tests auf verschiedenen Desktop- und Mobilplattformen; mit der 1SCRIPT-Technologie der Software können Benutzer außerdem dieselben Prüfungen problemlos wiederholt durchführen. Darüber hinaus nutzt das Tool modernste Computer Vision, die es ZAPTEST ermöglicht, Ad-hoc-Tests aus menschlicher Sicht durchzuführen.
2. BrowserStack
BrowserStack ist eine Cloud-Plattform, die das Testen auf über 3.000 verschiedenen Rechnern erleichtert und zusätzlich die Automatisierung von Selenium-Skripten ermöglicht. Obwohl es eine starke Abdeckung für Softwareprojekte bietet, funktioniert es am besten mit Browser- und mobilen Anwendungen.
Die Testlösungen von BrowserStack bieten auch eine kostenlose Testversion mit 100 Minuten automatisierten Tests an, die allerdings nur von begrenztem Nutzen sein kann.
Der cloudbasierte Ansatz kann zwar hilfreich sein, wirkt sich aber auch negativ auf die Reaktionszeit der Plattform aus.
3. LambdaTest
LambdaTest verwendet ebenfalls eine Cloud-basierte Technologie und legt einen starken Schwerpunkt auf Browsertests, was seine Effektivität für andere Anwendungen einschränken kann – obwohl es dennoch gut mit iOS- und Android-Programmen harmoniert. Dies ist eine hilfreiche Plattform, wenn es um Skalierbarkeit geht, und lässt sich mit vielen anderen Testhosting-Diensten integrieren.
Einige Benutzer haben jedoch gemischte Reaktionen auf die Preisgestaltung der Anwendung für die verschiedenen verfügbaren Optionen, die keine Testversion sind, was die Zugänglichkeit für kleinere Organisationen möglicherweise einschränkt.
4. TestRail
TestRail ist im Allgemeinen recht anpassungsfähig, da es vollständig im Browser läuft, und bietet trotz des starken Fokus auf effiziente Testfälle auch direkte Ad-hoc-Funktionen. Die Analysen, die nach jedem Test zur Verfügung stehen, können auch Teams helfen, die aktiv vermeiden, ihre eigene unabhängige Dokumentation zu erstellen, und ihnen dennoch die Möglichkeit geben, ihren Testprozess zu validieren.
Größere Suiten könnten jedoch mit dem browserbasierten Format Schwierigkeiten haben, was die Zeitersparnis bei Ad-hoc-Tests erheblich einschränken kann.
5. Zephyr
Zephyr ist eine Testmanagement-Plattform von SmartBear, die Qualitätssicherungs-Teams dabei hilft, ihre Tests transparenter zu gestalten, und sich gleichzeitig gut in andere Bug-Tracking-Software integrieren lässt.
Diese Funktion ist jedoch auf bestimmte Anwendungen beschränkt, wobei Confluence und Jira am meisten von Zephyr profitieren – dies sind möglicherweise nicht die effektivsten Lösungen für jedes Unternehmen. Unter der Marke Zephyr gibt es mehrere skalierbare Programme zu unterschiedlichen Preisen.
Checkliste, Tipps und Tricks für Ad-Hoc-Tests
Im Folgenden finden Sie weitere Tipps für Teams, die bei der Durchführung von Ad-hoc-Tests zu beachten sind:
1. Prioritäten für empfindliche Komponenten setzen
Einige Funktionen oder Komponenten sind naturgemäß fehleranfälliger als andere, insbesondere wenn sie für die Gesamtfunktion des Programms wichtig sind.
Bei jedem Testansatz sollten die Teile einer Anwendung identifiziert werden, die von einer gründlicheren Untersuchung profitieren könnten. Dies ist besonders hilfreich, wenn die Gesamtzeit für die Prüfung begrenzt ist.
2. Untersuchen Sie verschiedene Testwerkzeuge
Das Werkzeug, das eine Organisation zur Erleichterung ihrer Tests einsetzt, kann sich auf die Abdeckung und Zuverlässigkeit dieser Prüfungen auswirken.
Bei Ad-hoc-Tests lohnt es sich, so viele Programme wie möglich zu testen, um diejenigen zu finden, die den nutzerzentrierten Aspekten entsprechen. Software, die wie ZAPTEST Computer Vision Technologie verwendet, kann Ad-hoc-Tests mit einer menschenähnlichen Strategie angehen.
3. Eine Ad-hoc-Mentalität annehmen
Ad-hoc-Tests bieten in der gesamten Qualitätssicherungsphase enorme Freiheiten, aber das Team muss sich darauf einlassen, um die wichtigsten Vorteile dieser Strategie zu nutzen.
Ad-hoc-Tester sollten beispielsweise auf alle ihre üblichen Dokumente verzichten, die über einfache Notizen hinausgehen, und sie müssen die Software aus einer völlig neuen Perspektive betrachten.
4. Vertrauen Sie auf Ihre Instinkte
Erfahrungen mit Ad-hoc-Tests oder allgemeinen Softwareprüfungen können dazu beitragen, häufige Fehlerquellen aufzuzeigen, und dies hilft den Testern bei der Ermittlung von Fehlern aller Art.
Es ist wichtig, dass die Tester ihrem Instinkt vertrauen und dieses Wissen stets zu ihrem Vorteil nutzen – sie können intuitiv erkennen, welche Ad-hoc-Prüfungen am hilfreichsten sind.
5. Vollständige Aufzeichnung entdeckter Fehler
Auch wenn Ad-hoc-Tests keine formale Dokumentation haben und sich meist auf informelle Notizen stützen, ist es dennoch wichtig, dass das Team in der Lage ist, die Ursache eines Softwarefehlers zu identifizieren und zu kommunizieren.
Sie müssen alle Informationen protokollieren, die der Test liefert und die für die Entwickler relevant sind, z. B. mögliche Ursachen für diese Probleme.
6. Berücksichtigen Sie immer den Benutzer
Jede Form des Testens zielt darauf ab, die Gesamterfahrung des Nutzers bis zu einem gewissen Grad zu berücksichtigen – und Ad-hoc-Tests sind da keine Ausnahme. Obwohl sie oft das Innenleben der Anwendung und sogar den internen Code genauer unter die Lupe nehmen, sollten Ad-hoc-Tester versuchen, die Software auf eine Art und Weise zu knacken, die den Benutzern theoretisch möglich ist.
7. Kontinuierliche Verbesserung des Prozesses
Testteams sollten ihren Ansatz für Ad-hoc-Tests zwischen mehreren Iterationen derselben Software und von einem Projekt zum nächsten verfeinern.
Sie können Rückmeldungen von den Entwicklern einholen, um zu sehen, wie gut ihre Ad-hoc-Tests die Qualitätssicherungsphase unterstützen und ob sie die Testabdeckung deutlich erhöhen konnten.
Schlussfolgerung
Ad-hoc-Tests können Unternehmen aller Art dabei helfen, ihre Softwareteststrategie zu authentifizieren, aber die Art und Weise, wie sie diese Technik umsetzen, kann ein wesentlicher Faktor für ihre Wirksamkeit sein.
Die Ausgewogenheit der verschiedenen Testarten ist der Schlüssel zum größtmöglichen Nutzen von Ad-hoc-Prüfungen – zumal diese Form des Testens die anderen ergänzen soll, indem sie eine strategische Lücke schließt.
Mit einer Anwendung wie ZAPTEST können Teams Ad-hoc-Tests mit größerer Sicherheit oder Flexibilität durchführen, insbesondere wenn sie eine Automatisierung implementieren. Unabhängig von der spezifischen Herangehensweise des Teams könnte das Engagement für Ad-hoc-Tests das gesamte Programm oder Projekt revolutionieren.
