Ad hoc testen is een soort softwaretesten die ontwikkelaars en softwarebedrijven uitvoeren bij het controleren van de huidige iteratie van de software. Deze vorm van testen geeft een beter inzicht in het programma, waarbij problemen worden opgespoord die bij conventionele tests misschien niet aan het licht komen.
Het is van het grootste belang dat testteams een volledig begrip hebben van het ad hoc testproces, zodat zij weten hoe zij de uitdagingen ervan kunnen omzeilen en ervoor kunnen zorgen dat het team deze techniek met succes kan toepassen.
Als een bedrijf precies weet hoe ad-hoc tests werken en welke hulpmiddelen de uitvoering ervan kunnen vergemakkelijken, kan het zijn eigen kwaliteitsborgingsprocedures voortdurend verbeteren. Het formele testproces volgt zeer specifieke regels, waardoor het team bepaalde bugs zou kunnen missen – ad-hoccontroles kunnen deze blinde vlekken omzeilen en snel elke softwarefunctie testen.
In dit artikel gaan we nader in op ad-hoc testen en hoe u die in uw voordeel kunt gebruiken bij de ontwikkeling van een softwareproduct.
Ad-Hoc Testen Betekenis: Wat is Ad-Hoc Testing?
Ad hoc testen is een kwaliteitsborgingsproces dat formele regels en documentatie vermijdt – het helpt testers fouten in hun applicatie te vinden die conventionele benaderingen niet kunnen identificeren. Dit vereist doorgaans uitgebreide kennis van de software voordat het testen begint – inclusief inzicht in de interne werking van het programma. Deze ad-hoccontroles zijn bedoeld om de toepassing te breken op manieren die de input van de gebruiker weerspiegelen, waarbij rekening wordt gehouden met verschillende potentiële situaties, zodat de ontwikkelaars bestaande problemen kunnen oplossen.
Het gebrek aan documentatie staat centraal in deze techniek, die geen checklist of testgevallen bevat om testers door de functies van een applicatie te leiden. Bij ad hoc testen gaat het erom de software te testen op de manier die een team op dat moment effectief acht. Hierbij kan rekening worden gehouden met reeds bestaande formele tests, maar er kunnen ook gewoon zoveel mogelijk tests worden uitgevoerd in de (waarschijnlijk beperkte) tijd die voor deze techniek is uitgetrokken.
1. Wanneer en waarom moet je ad hoc testen bij het testen van software?
De belangrijkste reden waarom bedrijven ad-hoc tests uitvoeren is dat ze fouten aan het licht kunnen brengen die traditionele benaderingen niet kunnen vinden. Daar kunnen allerlei redenen voor zijn, zoals conventionele testgevallen die een bijzonder gestandaardiseerd proces volgen dat geen rekening kan houden met de eigenaardigheden van een toepassing.
Elk type test kan nieuwe perspectieven en interessante benaderingen van kwaliteitsborging bieden – dit laat ook problemen met de gebruikelijke teststrategie zien. Als ad-hoc tests bijvoorbeeld een probleem kunnen identificeren dat niet in de testcases van het team aan de orde komt, dan kan het nuttig zijn om de testmethodologie te herijken.
Testers kunnen op elk moment van het testproces ad-hoccontroles uitvoeren. Dit dient doorgaans als aanvulling op de traditionele (en meer formele) kwaliteitsborging en met het oog daarop kunnen testers ad-hocinspecties uitvoeren terwijl hun collega’s meer formele onderzoeken uitvoeren. Zij kunnen er echter de voorkeur aan geven ad-hoccontroles te bewaren tot na het formele testproces als follow-up die specifiek gericht is op potentiële blinde vlekken.
Ad-hoc tests kunnen ook nuttig zijn wanneer de tijd bijzonder beperkt is door het gebrek aan documentatie – het juiste moment hangt af van het bedrijf en de aanpak die het verkiest.
2. Wanneer u geen ad hoc tests hoeft te doen
Als er niet voldoende tijd is om zowel ad hoc als formeel te testen, is het belangrijk dat het team prioriteit geeft aan het laatste, omdat dit zorgt voor een aanzienlijke testdekking – zelfs als er nog enkele hiaten zijn.
Als de formele tests van het team bugs vinden die moeten worden opgelost, is het meestal beter om te wachten tot de ontwikkelaars de nodige wijzigingen hebben aangebracht om ad-hoccontroles uit te voeren. Anders zouden de resultaten die zij opleveren snel achterhaald kunnen zijn, vooral als de tests betrekking hebben op het onderdeel dat al met bugs te kampen heeft.
Bovendien moeten ad hoc tests plaatsvinden vóór de bètatestfase.
3. Wie is betrokken bij Ad-Hoc Testing?
Er zijn verschillende sleutelrollen betrokken bij het Ad-Hoc testproces, waaronder:
– Softwaretesters zijn de belangrijkste teamleden die ad hoc controles uitvoeren. Bij buddy- of pairtests werken meerdere van deze testers samen aan dezelfde onderdelen.
– Ontwikkelaars kunnen deze controles vóór de formele kwaliteitsborging zelfstandig gebruiken om hun eigen software snel te inspecteren, hoewel dit minder diepgaand is dan specifieke ad-hoctests.
– Team- of afdelingsleiders autoriseren de algemene teststrategie – ze helpen de testers te bepalen wanneer ze met ad-hoc tests moeten beginnen en hoe ze die moeten uitvoeren zonder andere controles te verstoren.
Voordelen van ad hoc testen
De voordelen van ad hoc testen bij het testen van software zijn onder meer:
1. Snelle oplossingen
Omdat bij deze tests geen frequente documentatie voor, tijdens of na de controles nodig is, kunnen teams veel sneller problemen vaststellen. Deze eenvoud biedt testers een enorme vrijheid.
Als ze bijvoorbeeld een onderdeel testen en geen fouten kunnen ontdekken, kan het team gewoon doorgaan met de volgende test zonder dit in een document te noteren.
2. Vult andere soorten tests aan
Geen enkele teststrategie is perfect, en 100% dekking is meestal onmogelijk te bereiken – zelfs met een uitgebreid schema. Er zullen altijd lacunes zijn in conventionele tests, dus is het belangrijk dat bedrijven meerdere benaderingen integreren.
Ad-hoc tests zijn specifiek gericht op het vinden van de problemen die formele tests niet kunnen dekken – waardoor een bredere algemene testdekking wordt gegarandeerd.
3. Flexibele uitvoering
Ad-hoc tests kunnen op elk moment in het kwaliteitsborgingsproces voor bètatests plaatsvinden, zodat bedrijven en teams kunnen beslissen wanneer deze controles het best kunnen worden uitgevoerd. Zij kunnen ervoor kiezen ad-hoc tests uit te voeren in combinatie met conventionele tests of kunnen wachten tot achteraf – hoe dan ook, het team profiteert van de keuzes die het tot zijn beschikking heeft.
4. Meer samenwerking
Ontwikkelaars zijn meer betrokken bij dit proces dan bij veel andere vormen van testen – vooral als het bedrijf gebruik maakt van buddy- en pair testing.
Daardoor krijgen de ontwikkelaars een beter inzicht in hun eigen toepassingen en kunnen zij bugs wellicht beter aanpakken. Dit helpt de algehele kwaliteit van de software nog verder te verbeteren.
5. Verschillende perspectieven
Ad-hoc tests kunnen de applicatie vanuit nieuwe invalshoeken laten zien, waardoor testers op nieuwe manieren met deze functies kunnen omgaan. Aanvullende gezichtspunten zijn van cruciaal belang tijdens het testen, aangezien formele controles vaak op zijn minst kleine lacunes vertonen.
Als ad hoc testers de software gebruiken met de specifieke bedoeling deze te breken, kunnen zij gemakkelijker de grenzen van het programma vaststellen.
Uitdagingen van ad hoc testen
Het ad hoc testproces kent ook verschillende uitdagingen, zoals:
1. Moeilijkheden met rapportage
Het gebrek aan documentatie maakt ad hoc testen veel sneller, maar kan ook rapportage bemoeilijken voor iets anders dan een groot probleem.
Zo kan bijvoorbeeld een eerder uitgevoerde controle later relevanter worden, hoewel deze aanvankelijk geen significante resultaten opleverde. Zonder uitgebreide documentatie kan het team deze tests misschien niet uitleggen.
2. Minder herhaalbaar
Evenzo is het mogelijk dat de testers niet volledig op de hoogte zijn van de precieze omstandigheden die nodig zijn om de door hen waargenomen reacties te veroorzaken. Zo kan een ad-hoccontrole die een fout oplevert onvoldoende informatie bevatten voor het team om actie te ondernemen. Ze weten misschien niet hoe ze deze test moeten herhalen om hetzelfde resultaat te krijgen.
3. Vereist software-ervaring
Omdat bij ad hoc testen snelheid voorop staat en meestal wordt geprobeerd de applicatie te breken, is het belangrijk dat deze testers dit programma door en door kennen.
Door te weten hoe het werkt, kunnen de testers de software op meer manieren breken en manipuleren, maar dit kan de vaardigheidseisen voor ad hoc testen aanzienlijk verhogen.
4. Beperkte verantwoordingsplicht
Een gebrek aan documentatie kan meer problemen veroorzaken dan alleen slechte rapportage; het kan ook onbedoeld het testproces verlengen en het nut van snelle individuele ad-hoc tests aantasten.
Testers kunnen moeite hebben om hun vorderingen bij te houden zonder voldoende documentatie in elke fase. Dit kan er zelfs toe leiden dat zij een controle herhalen die andere testers al hebben uitgevoerd.
5. Geeft mogelijk niet de gebruikerservaring weer
Het doel van vrijwel elk type test is rekening te houden met fouten die de eindgebruikers op enigerlei wijze beïnvloeden. Ad-hoc tests berusten voornamelijk op een ervaren tester die een onervaren gebruiker probeert te emuleren en dit moet consistent zijn bij elke controle tot en met hun pogingen om de applicatie te breken.
Kenmerken van ad hoc tests
De belangrijkste kenmerken van succesvolle ad-hoc tests zijn onder meer:
1. Onderzoek
De belangrijkste prioriteit van ad-hoc tests is het opsporen van fouten in de applicatie met behulp van technieken waarmee conventionele controles geen rekening houden. Ad-hoconderzoeken doorzoeken deze software met het uitdrukkelijke doel gaten te vinden in de testprocedure van het team, met inbegrip van de dekking van hun testgevallen.
2. Ongestructureerd
Ad-hoccontroles hebben meestal geen vast plan buiten het uitvoeren van zoveel mogelijk tests buiten de typische grenzen van formele kwaliteitsborging. Voor het gemak groeperen testers de controles meestal per onderdeel, maar zelfs dat is niet noodzakelijk – ze kunnen de controles zelfs bedenken terwijl ze ze uitvoeren.
3. Ervaringsgericht
Ad-hoctesters gebruiken hun reeds bestaande software-ervaring om te beoordelen welke tests de meeste voordelen opleveren en om veelvoorkomende blinde vlekken in formele tests aan te pakken.
Hoewel het testproces nog volledig ongestructureerd is, passen testers bij het bepalen van hun strategie onder meer hun kennis van eerdere ad-hoccontroles toe.
4. Breed opgezet
Er zijn geen exacte richtlijnen voor welke controles het team moet uitvoeren tijdens ad-hoc tests, maar ze omvatten doorgaans een reeks componenten – mogelijk met meer aandacht voor de meer gevoelige aspecten van de applicatie. Dit helpt testers garanderen dat hun examens de formele tests volledig kunnen aanvullen.
Wat testen we in Ad-Hoc Tests?
Kwaliteitsteams testen gewoonlijk het volgende tijdens ad-hoc tests:
1. Softwarekwaliteit
Deze controles zijn bedoeld om fouten in de toepassing op te sporen die conventionele tests niet aan het licht kunnen brengen; het proces test dus vooral de algemene gezondheid van de toepassing.
Hoe meer bugs de ad-hoc tests kunnen opsporen, hoe meer verbeteringen de ontwikkelaars voor hun deadline kunnen doorvoeren.
2. Testgevallen
Bij ad hoc testen worden meestal geen testgevallen geïmplementeerd – en dit is specifiek zodat het team kan onderzoeken hoe effectief ze zijn in het bieden van een ruime dekking. De testgevallen zijn waarschijnlijk ontoereikend als ad-hoccontroles fouten kunnen vinden die conventionele testprocessen niet kunnen vinden.
3. Test personeel
Het doel zou ook kunnen zijn om de vaardigheden en kennis van het testteam te controleren, zelfs als de testgevallen adequaat zijn. Zo kan hun methode om de gevallen uit te voeren ontoereikend zijn en kunnen ad hoc tests van cruciaal belang zijn om de daaruit voortvloeiende leemten in de testdekking op te vullen.
4. Softwarelimieten
Met ad hoc tests wordt ook getracht de grenzen van de applicatie te begrijpen, zoals hoe deze reageert op onverwachte inputs of hoge systeembelasting. De testers zouden specifiek onderzoek kunnen doen naar de foutmeldingen van het programma en hoe goed deze toepassing presteert wanneer zij onder grote druk staat.
Wat verwarring ophelderen:
Ad hoc tests en verkennende tests
Sommige mensen beschouwen ad hoc en exploratief testen als synoniemen, maar de waarheid is ingewikkelder dan dat.
1. Wat is verkennende tests?
Met verkennende tests worden kwaliteitsborgingsprocedures bedoeld waarbij de software vanuit een holistisch oogpunt wordt onderzocht en de ontdekkings- en testprocessen in één methode worden gecombineerd. Dit is typisch een middenweg tussen volledig gestructureerd testen en volledig vrije ad hoc controles.
Verkennend testen werkt het best in specifieke scenario’s, zoals wanneer snelle feedback nodig is of als het team randgevallen moet aanpakken. Deze vorm van testen bereikt meestal zijn volle potentieel wanneer het team er scripttesten naast gebruikt.
2. Verschillen tussen verkennende tests
en ad hoc testen
Het grootste verschil tussen ad hoc en exploratief testen is het gebruik van documentatie om de controles vast te leggen en te vergemakkelijken, terwijl dit bij ad hoc testen volledig wordt vermeden. Exploratief testen legt meer nadruk op testvrijheid, maar nooit op hetzelfde niveau als een ad-hocaanpak die volledig ongestructureerd is.
Exploratief testen houdt ook in dat men tijdens deze controles de applicatie en de interne werking ervan leert kennen – ad hoc testers hebben in plaats daarvan vaak een uitgebreide kennis van de functionaliteit van de software voordat ze beginnen.
Soorten ad hoc tests
Er zijn drie belangrijke vormen van ad hoc testen bij het testen van software, waaronder:
1. Aap testen
Misschien wel de meest populaire vorm van ad-hoc testen, zijn monkey tests waarbij een team willekeurig verschillende onderdelen bekijkt.
Dit gebeurt gewoonlijk tijdens het eenheidstestproces en voert een reeks controles uit zonder testgevallen. De testers onderzoeken zelfstandig de gegevens op volledig ongestructureerde wijze, waardoor zij het bredere systeem en zijn vermogen om intense belasting door gebruikersinputs te weerstaan, kunnen onderzoeken.
Het observeren van de output van deze niet-gescripte technieken helpt het testteam fouten op te sporen die andere unit tests hebben gemist door tekortkomingen in conventionele testmethoden.
2. Buddy testen
In een ad-hoccontext worden bij buddy tests minimaal twee medewerkers ingezet – meestal een tester en een ontwikkelaar – en vinden deze voornamelijk plaats na de unit testing-fase. De “maatjes” werken samen aan dezelfde module om fouten op te sporen. Hun uiteenlopende vaardigheden en uitgebreide ervaring maken hen tot een effectiever team, wat veel van de problemen die ontstaan door een gebrek aan documentatie helpt verlichten.
De ontwikkelaar kan zelfs een aantal van de tests zelf voorstellen, zodat hij de onderdelen kan identificeren die meer aandacht nodig hebben.
3. Paartesten
Pair testing is vergelijkbaar in die zin dat er twee medewerkers bij betrokken zijn, maar dit zijn meestal twee aparte testers, waarvan de ene de eigenlijke tests uitvoert terwijl de andere aantekeningen maakt.
Zelfs zonder formele documentatie kan het team door het maken van aantekeningen op informele wijze individuele ad-hoccontroles bijhouden. De rollen van tester en scribent kunnen wisselen, afhankelijk van de test, of het duo kan gedurende het hele proces de hun toegewezen rollen behouden.
De tester met de meeste ervaring is meestal degene die de eigenlijke controles uitvoert – hoewel ze het werk altijd met elkaar delen.
Handmatige of geautomatiseerde ad hoc tests?
Geautomatiseerd testen kan teams helpen nog meer tijd te besparen in de kwaliteitsborgingsfase, waardoor de testers meer controles in hun schema kunnen inpassen. Zelfs zonder een definitieve structuur is het essentieel dat testers werken aan een maximale dekking en automatisering bevordert meer diepgaande inspecties van deze software.
Geautomatiseerde ad-hoccontroles zijn doorgaans nauwkeuriger dan handmatige tests, omdat ze menselijke fouten tijdens routinetaken kunnen vermijden – dit is vooral nuttig wanneer dezelfde tests op verschillende iteraties worden uitgevoerd. Het succes van deze procedure hangt meestal af van de geautomatiseerde testtool die het team kiest en de functionaliteit ervan.
Geautomatiseerde tests hebben echter bepaalde beperkingen. De belangrijkste kracht van ad-hoc tests is bijvoorbeeld de mogelijkheid om gebruikersinvoer te emuleren en willekeurige controles uit te voeren wanneer de tester die bedenkt. Deze tests kunnen hun willekeur verliezen als het testprogramma van de organisatie moeite heeft met complexe controles.
De tijd die nodig is om deze zeer specifieke taken te automatiseren kan ook de typische tijdwinst van dit proces beperken. Het is belangrijk dat teams de beschikbare automatiseringstools grondig onderzoeken om er een te vinden die past bij het project van hun bedrijf.
Wat heb je nodig om met Ad-Hoc Testing te beginnen?
Dit zijn de belangrijkste voorwaarden voor ad hoc testen:
1. Gekwalificeerd personeel
Aangezien ad hoc tests snelle, willekeurige inspecties zijn van de interne werking van de software, helpt het meestal om testers te hebben die ervaring hebben met de software. Zij moeten ook een actieve kennis hebben van de belangrijkste testprincipes – zo kunnen zij gemakkelijk de meest doeltreffende controles vaststellen.
2. Een ongestructureerde aanpak
Testers moeten bereid zijn hun gebruikelijke strategieën voor ad-hoc tests op te geven; deze mentaliteit is even cruciaal als de kwaliteitscontroles zelf. Deze methode kan alleen slagen zonder structuur of documentatie en het is van vitaal belang dat de testers dit in elke fase onthouden.
3. Automatiseringssoftware
Hoewel ad-hoc tests meer gebaseerd zijn op het testen van willekeurige inputs en omstandigheden, is automatisering nog steeds een zeer effectieve techniek in elke context.
Daarom moeten ad-hoccontroles waar mogelijk nog steeds geautomatiseerde testtools implementeren, aangezien de juiste toepassing het proces aanzienlijk kan stroomlijnen.
4. Andere vormen van testen
Ad-hoc tests werken het best naast andere controles met een meer formele aanpak – ze helpen het team een aanzienlijke dekking van de software te garanderen. Het is essentieel dat de testers verschillende technieken mengen, al kan dit voor, tijdens of na het uitvoeren van ad-hoc tests.
Ad hoc testproces
De gebruikelijke stappen die testers moeten volgen wanneer zij ad-hoc testen uitvoeren bij het testen van software zijn:
1. Definitie van ad hoc testdoelstellingen
Deze fase is beperkt door het gebrek aan documentatie en structuur, maar het is nog steeds van het grootste belang dat het team een duidelijke focus heeft. De testers kunnen vage ideeën beginnen te delen over welke komende tests moeten worden uitgevoerd en welke onderdelen prioriteit moeten krijgen.
2. Selectie van het ad hoc testteam
Terwijl het team een aantal potentiële ad-hoccontroles brainstormt, zoeken ze ook uit welke testers het meest geschikt zijn voor dit soort tests. Zij selecteren gewoonlijk testers die de toepassing goed begrijpen en kunnen hen ook koppelen aan een ontwikkelaar.
3. Uitvoering van ad hoc tests
Nadat is besloten welke testers geschikt zijn voor deze fase, beginnen deze teamleden hun controles op een afgesproken punt in het testen. Hun doel is zoveel mogelijk ad hoc controles uit te voeren – die de testers misschien pas in dit stadium bedenken.
4. Evaluatie van de testresultaten
Na afloop van de tests (of zelfs tussen afzonderlijke controles) evalueren de testers de resultaten, maar zonder deze formeel te documenteren in een testgeval. Als ze problemen met de toepassing ontdekken, leggen ze die informeel vast en bespreken ze de volgende stappen van het team.
5. Rapporteren van ontdekte bugs
Zodra zij de resultaten hebben geëvalueerd, moeten de testers de ontwikkelaars informeren over de fouten in de software, zodat zij ruimschoots de tijd hebben om deze voor de release te herstellen.
Het testteam gebruikt de informatie ook om te bepalen hoe ze hun formele testprocessen kunnen verbeteren.
6. Zo nodig hertesten
Het testteam zal het ad-hoc proces waarschijnlijk herhalen voor nieuwe iteraties van de applicatie om te controleren hoe goed deze omgaat met updates. Aangezien de testers veel van de eerder vastgestelde leemten in hun testcases zullen hebben verholpen, kan het zijn dat toekomstige ad-hoccontroles een andere aanpak vereisen.
Beste praktijken voor ad hoc tests
Er zijn bepaalde praktijken die testteams moeten toepassen tijdens ad-hoc tests, waaronder:
1. Richten op potentiële leemten in het testen
Hoewel bij ad-hoc tests veel minder planning komt kijken dan bij andere types, wil het team toch tekortkomingen in de kwaliteitsborging aanpakken. Indien de ad hoc testers specifieke problemen vermoeden met de testgevallen van het team, moeten zij hieraan prioriteit geven bij het uitvoeren van hun controles.
2. Overweeg automatiseringssoftware
Automatiseringsstrategieën zoals hyperautomatisering kunnen veel voordelen bieden aan bedrijven die ad-hoc tests willen uitvoeren.
Het succes hiervan hangt af van verschillende belangrijke factoren, waaronder het instrument dat het bedrijf kiest en de algemene complexiteit van hun ad-hoc tests.
3. Maak uitgebreide aantekeningen
Het gebrek aan documentatie bij ad hoc testen is vooral om dit proces nog verder te stroomlijnen – het team zou er baat bij kunnen hebben om informele aantekeningen te maken terwijl ze bezig zijn. Dit geeft de testers een duidelijk overzicht van deze controles en hun resultaten, waardoor hun algemene herhaalbaarheid toeneemt.
4. Blijf de tests verfijnen
Ad hoc testers verfijnen voortdurend hun aanpak om rekening te houden met veranderingen in de teststrategie van het team. Wanneer zij bijvoorbeeld kijken naar nieuwere versies van de software van het bedrijf, kunnen zij deze controles aanpassen aan nieuwere en meer omvattende formele testgevallen.
7 fouten en valkuilen bij het implementeren van
Ad hoc tests
Zoals bij elk testproces is er een groot aantal potentiële fouten die het team moet zien te vermijden, zoals:
1. Onervaren testers
Om het verwachte tempo van ad hoc testen aan te houden, moet de teamleider testers toewijzen op basis van de kennis en vaardigheden waarover zij beschikken. Terwijl veel vormen van testen geschikt zijn voor beginnende kwaliteitsmedewerkers, vereisen ad-hoccontroles teamleden die de software volledig begrijpen; bij voorkeur met ervaring in het uitvoeren van deze tests.
2. Ongerichte controles
Ad-hoc tests kunnen de testdekking aanzienlijk verbeteren door het snellere tempo – het team hoeft geen uitgebreide documentatie in te vullen voor en na elke controle.
De ad hoc testers moeten echter nog steeds een sterke focus behouden; zij kunnen bijvoorbeeld besluiten prioriteit te geven aan bepaalde onderdelen met een groter risico op falen.
3. Geen planning
Het vermijden van welk plan dan ook kan de doeltreffendheid van ad hoc tests beperken. Ondanks het ongestructureerde karakter van deze aanpak, is het belangrijk dat het team een ruw idee heeft van de uit te voeren tests voordat ze beginnen.
De tijd is beperkt tijdens dit proces en weten hoe te handelen kan veel voordelen bieden.
4. Te gestructureerd
Aan de andere kant van het spectrum berust deze aanpak meestal op een gebrek aan planning, omdat dit testers helpt testgevallen actief te ondermijnen en verborgen fouten te vinden.
Ad hoc testen is ook bekend als willekeurig testen en het opdringen van een structuur kan voorkomen dat deze controles bugs opsporen.
5. Geen veranderingen op lange termijn
Het doel van ad hoc testen is om eventuele zwakke punten in de testgevallen van het team op te sporen; daarbij wordt net zo goed hun algemene strategie onderzocht als de software zelf.
Dit betekent echter dat ad-hoc tests over het algemeen alleen effectief zijn als het team deze informatie gebruikt om hun formele controles in de loop van de tijd te verfijnen.
6. Onverenigbare datasets
Vrijwel elke vorm van testen vereist een vorm van gesimuleerde gegevens om te beoordelen hoe de applicatie reageert; sommige tools laten testers automatisch een programma vullen met schijngegevens.
Dit weerspiegelt echter niet hoe een gebruiker de software zou gebruiken – ad hoc controles vereisen datasets die de software waarschijnlijk zal tegenkomen.
7. Informatie silo’s
Het is essentieel dat de testers en ontwikkelaars voortdurend met elkaar communiceren, zelfs als de laatste geen deel uitmaakt van het ad-hoc testproces.
Dit helpt iedereen te begrijpen welke tests zijn uitgevoerd – het toont de volgende te nemen acties en voorkomt dat de testers onnodig bepaalde controles herhalen.
Soorten outputs van ad hoc tests
Ad-hoccontroles leveren verschillende resultaten op, waaronder:
1. Testresultaten
De afzonderlijke tests leveren verschillende resultaten op die specifiek zijn voor het betrokken onderdeel en de betrokken aanpak – dit kan vele vormen aannemen.
Het is meestal de verantwoordelijkheid van de tester om te bepalen of de resultaten een fout vormen, hoewel een gebrek aan documentatie het moeilijk maakt om dit te vergelijken met hun verwachtingen. Het team geeft deze resultaten door aan de ontwikkelaars als zij problemen opmerken.
2. Testlogboeken
De software zelf gebruikt een ingewikkeld systeem van interne logboeken om de input van de gebruiker te controleren en een aantal problemen met bestanden of databases aan het licht te brengen.
Dit kan wijzen op een interne fout, inclusief het specifieke onderdeel van de software dat het probleem veroorzaakt. Met deze informatie kunnen ad hoc testers en ontwikkelaars de problemen die zij ontdekken veel gemakkelijker aanpakken.
3. Foutmeldingen
Veel ad-hoccontroles zijn er specifiek op gericht de software te breken en de grenzen ervan bloot te leggen, wat betekent dat de foutmeldingen van de toepassing een van de meest voorkomende resultaten van deze tests zijn.
Door opzettelijk foutmeldingen te veroorzaken, kan het team laten zien wat de gemiddelde eindgebruiker ziet wanneer de onverwachte acties die hij onderneemt een negatief effect hebben op de werking van het programma.
Ad hoc Testen voorbeelden
Hier zijn drie ad hoc testscenario’s die laten zien hoe een team het voor verschillende toepassingen zou kunnen toepassen:
1. E-commerce webapplicatie
Als een bedrijf een op e-commerce gebaseerde webapp wil testen, kan het ad-hoc tests uitvoeren – met name aaptests – om te zien hoe goed het platform omgaat met onverwachte gebruikersinteracties.
De testers kunnen elke functie tot het uiterste drijven, bijvoorbeeld door artikelen in onrealistische hoeveelheden aan hun mandje toe te voegen of te proberen producten te kopen die niet in voorraad zijn. Ze worden niet beperkt door de testgevallen van het team en er zijn weinig grenzen aan de controles die ze zouden kunnen uitvoeren; de testers zouden zelfs kunnen proberen aankopen te doen met behulp van verouderde URL’s.
2. Desktop applicatie
Ad hoc testers kunnen deze technieken ook toepassen voor desktop applicaties met een mogelijke focus op verschillende machines en hoe goed ze elk het programma accommoderen.
De teamleden kunnen deze controles herhaaldelijk uitvoeren om te zien hoe gewijzigde hardware- of software-instellingen de algemene prestaties van een toepassing beïnvloeden. Een specifieke grafische kaart kan bijvoorbeeld moeite hebben om de interface te renderen.
Als alternatief zouden deze testers hun programma gewoon onmogelijke inputs kunnen geven en kijken hoe het reageert, bijvoorbeeld of het correct foutmeldingen kan weergeven die het probleem adequaat uitleggen aan de eindgebruiker.
3. Mobiele toepassing
Een manier waarop ad-hoc testers een mobiele applicatie zouden kunnen onderzoeken is het testen van de beveiligingsprotocollen – ze zouden bijvoorbeeld kunnen proberen rechtstreeks toegang te krijgen tot de ontwikkeltools van de app.
Het team kan proberen te kijken of ze ongeautoriseerde acties kunnen uitvoeren door veelvoorkomende mazen en exploits te vinden; ze zouden specifiek medewerkers met ervaring in app-beveiliging kunnen vragen om dit te faciliteren.
Het kan ook gaan om pair testing met de ontwikkelaars vanwege hun inzicht in het ontwerp van de app, waarbij een tester de software kan breken en precies kan laten zien waar de beveiliging tekortschiet.
Soorten ontdekte fouten en bugs
door Ad-Hoc Testing
Ad-hoccontroles kunnen veel problemen met een programma aan het licht brengen, zoals:
1. Functiefouten
Door ad hoc tests uit te voeren om de basisfuncties van een applicatie te onderzoeken, kunnen ernstige bugs aan het licht komen die van invloed zijn op de manier waarop eindgebruikers met de applicatie omgaan.
Door bijvoorbeeld de betalingsmogelijkheden van een e-commercesite in een aap te testen, kunnen de voorwaarden die de transactie verhinderen worden geïllustreerd.
2. Prestatieproblemen
De testers kunnen specifiek werken aan het creëren van prestatieproblemen in het programma – bijvoorbeeld door de database te vullen met verschillende spam-inputs.
Dit kan zich uiten in een aanzienlijke vertragingstijd of zelfs algemene software-instabiliteit, wat waarschijnlijk zal leiden tot een (mogelijk systeembrede) crash.
3. Bruikbaarheidsproblemen
Deze controles kunnen ook fouten in de interface en de algemene gebruikerservaring aan het licht brengen. De UI van een mobiele app kan bijvoorbeeld op een ander besturingssysteem of een andere schermresolutie anders overkomen. Een slechte interface kan ertoe leiden dat gebruikers moeite hebben om deze toepassing te bedienen.
4. Veiligheidsgebreken
Het willekeurige karakter van ad-hoc tests maakt het mogelijk een reeks veel voorkomende en zeldzame beveiligingsproblemen te bestrijken; een tester zou deze controles kunnen gebruiken om de administratieve achterdeurtjes van een programma te vinden.
Anderzijds kan uit hun inspectie blijken dat de software geen gegevenscodering heeft.
Gemeenschappelijke ad-hoc testmetriek
Bij ad hoc tests worden verschillende meetgegevens gebruikt om de resultaten te vergemakkelijken, waaronder:
1. Doeltreffendheid van de defectdetectie
Deze maatstaf bekijkt hoe effectief het testproces is in het vinden van defecten bij elke vorm van testen, inclusief ad-hoc testen. De efficiëntie van de defectdetectie is het percentage ontdekte defecten gedeeld door het totale aantal problemen – dit geeft aan hoe effectief de tests zijn.
2. Testdekkingspercentage
Een nevenfunctie van ad-hoc testen is het verhogen van de dekking door componenten te controleren op een manier waar testgevallen geen rekening mee houden. Dit betekent dat de testers er ook naar zullen streven de testdekking bij elke controle zo radicaal mogelijk te verhogen.
3. Totale duur van de test
Ad-hoc tests zijn veel sneller dan andere kwaliteitsborgingsprocessen – en het is essentieel dat de testers werken om dit voordeel te behouden. Testduurmetingen laten teamleden zien hoe ze tijd kunnen besparen en de voordelen van ad-hocstrategieën nog verder kunnen vergroten.
4. Crashpercentage
Deze tests hebben vaak tot doel de software te breken en een crash of ernstige fout te veroorzaken – waardoor ze verder gaan dan de typische teststrategieën en onverwachte problemen vinden. Daartoe kan het helpen om te weten hoe vaak de software vastloopt en wat de oorzaken van deze problemen zijn.
5 beste ad hoc testtools
Er zijn veel gratis en betaalde testtools beschikbaar voor ad hoc testen bij het testen van software – de beste vijf zijn als volgt:
1. ZAPTEST Free & Enterprise Edition
ZAPTEST is een uitgebreid software testprogramma dat een sterk niveau van test + RPA functionaliteit biedt in zowel de gratis als de enterprise versie.
Deze full-stack softwareautomatisering + RPA Suite maakt het mogelijk volledig te testen op verschillende desktop- en mobiele platforms; de 1SCRIPT-technologie van de software laat gebruikers ook gemakkelijk herhaaldelijk dezelfde controles uitvoeren. Bovendien maakt de tool gebruik van geavanceerde computervisie, waardoor ZAPTEST ad-hoc tests kan uitvoeren vanuit een menselijk perspectief.
2. BrowserStack
BrowserStack is een cloudplatform dat testen op meer dan 3.000 verschillende machines mogelijk maakt, met als extra mogelijkheid het automatiseren van Selenium-scripts. Hoewel het een sterke dekking biedt voor softwareprojecten, werkt het het beste met browser- en mobiele toepassingen.
BrowserStack-testoplossingen omvatten ook een gratis proefversie met 100 minuten geautomatiseerd testen – hoewel het gebruik daarvan beperkt kan zijn.
Hoewel de cloud-gebaseerde aanpak nuttig kan zijn, heeft hij ook een negatieve invloed op de reactietijd van het platform.
3. LambdaTest
LambdaTest maakt eveneens gebruik van cloud-gebaseerde technologie en legt een sterke nadruk op het testen van browsers, wat de effectiviteit voor andere toepassingen kan beperken – hoewel het nog steeds goed past bij iOS- en Android-programma ‘s. Dit is een nuttig platform wanneer schaalbaarheid een zorg is en integreert met vele andere testhostingdiensten.
Sommige gebruikers hebben echter gemengde reacties op de prijzen van de applicatie voor de verschillende niet-proefopties die beschikbaar zijn, wat de toegankelijkheid voor kleinere organisaties kan beperken.
4. TestRail
TestRail is over het algemeen vrij aanpasbaar omdat het volledig in-browser draait en, ondanks een sterke focus op efficiënte testcases, ook over directe ad-hoc functionaliteit beschikt. De analyses die het na elke test levert, kunnen ook teams helpen die actief vermijden om hun eigen onafhankelijke documentatie te maken, terwijl ze toch hun testproces kunnen valideren.
Grotere suites kunnen echter moeite hebben met het browsergebaseerde formaat, waardoor de tijdswinst van ad hoc testen aanzienlijk kan worden beperkt.
5. Zephyr
Zephyr is een testbeheerplatform van SmartBear dat kwaliteitsbewakingsteams helpt hun testzichtbaarheid te verbeteren terwijl het ook goed integreert met andere bug-tracking software.
Deze functie is echter beperkt tot bepaalde toepassingen, waarbij Confluence en Jira het meest profiteren van Zephyr – dit zijn misschien niet de meest effectieve oplossingen voor elk bedrijf. Er zijn verschillende schaalbare programma’s beschikbaar onder het merk Zephyr tegen verschillende prijzen.
Checklist, tips en trucs voor ad hoc testen
Hier zijn aanvullende tips voor teams om rekening mee te houden bij het uitvoeren van ad-hoc tests:
1. Prioriteit geven aan gevoelige onderdelen
Sommige functies of onderdelen lopen natuurlijk meer risico op fouten dan andere, vooral als ze belangrijk zijn voor de algemene werking van het programma.
Elke testaanpak moet de delen van een toepassing identificeren die meer aandacht verdienen. Dit is vooral nuttig wanneer de totale tijd voor het testen beperkt is.
2. Verschillende testinstrumenten onderzoeken
Het instrument dat een organisatie gebruikt om haar tests te vergemakkelijken, kan van invloed zijn op de dekking en de betrouwbaarheid van deze controles.
Bij ad hoc testen is het de moeite waard om zoveel mogelijk programma’s te bekijken om die te vinden die passen bij het gebruikersgerichte aspect. Software die gebruik maakt van computer vision technologie, zoals ZAPTEST, kan ad hoc tests benaderen met een menselijke strategie.
3. Een ad hoc mentaliteit aannemen
Ad hoc testen biedt een enorme vrijheid in de kwaliteitsborgingsfase, maar het team moet zich er wel voor inzetten om de belangrijkste voordelen van de strategie te ontvangen.
Zo moeten ad hoc testers al hun gebruikelijke documenten achterwege laten en de software vanuit een geheel nieuw perspectief bekijken.
4. Vertrouw op het testen van instincten
Ervaring met ad-hoc tests of algemene softwarecontroles kan helpen om veelvoorkomende storingspunten aan het licht te brengen en dit helpt testers bij het bepalen hoe zij fouten van allerlei aard kunnen opsporen.
Het is essentieel dat testers op hun instincten vertrouwen en deze kennis altijd in hun voordeel gebruiken – zij kunnen intuïtief aanvoelen welke ad-hoccontroles het nuttigst zijn.
5. Volledig registreren van ontdekte bugs
Hoewel ad-hoc tests geen formele documentatie hebben en meestal gebaseerd zijn op informele notities, is het toch essentieel dat het team de oorzaak van een softwarefout kan vaststellen en meedelen.
Zij moeten alle informatie registreren die de test oplevert en die relevant is voor ontwikkelaars, zoals mogelijke oorzaken van deze problemen.
6. Houd altijd rekening met de gebruiker
Elke vorm van testen is bedoeld om de algehele ervaring van de gebruiker tot op zekere hoogte tegemoet te komen – en ad hoc testen vormen daarop geen uitzondering. Hoewel ze vaak dieper ingaan op de innerlijke werking van de applicatie en zelfs de interne code, moeten ad-hoc testers proberen deze software te breken op manieren die gebruikers theoretisch zouden kunnen.
7. Het proces voortdurend verbeteren
Testteams moeten hun aanpak van ad hoc testen tussen meerdere iteraties van dezelfde software en van het ene project op het andere verfijnen.
Ze kunnen feedback van ontwikkelaars verzamelen om te zien hoe goed hun ad-hoc tests de kwaliteitsborging hebben geholpen en of ze de testdekking aanzienlijk hebben kunnen verhogen.
Conclusie
Ad-hoc tests kunnen organisaties van allerlei aard helpen hun software teststrategie te authenticeren, maar de manier waarop zij deze techniek toepassen kan een belangrijke factor zijn in de effectiviteit ervan.
Het evenwicht tussen de verschillende soorten tests is de sleutel om het meeste voordeel te halen uit ad-hoccontroles – vooral omdat deze vorm van testen bedoeld is om de andere aan te vullen door een strategische leemte op te vullen.
Met een toepassing als ZAPTEST kunnen teams met meer vertrouwen en flexibiliteit ad-hoc tests uitvoeren, vooral als ze automatisering implementeren. Ongeacht de specifieke aanpak van het team, kan hun inzet voor ad hoc testen een revolutie betekenen voor het hele programma of project.
