I den här artikeln kommer vi att undersöka vad prestandatestning är, vilka olika typer och verktyg som finns tillgängliga, vilka utmaningar och fördelar prestandatestning innebär och mycket mer. Denna omfattande guide kommer också att innehålla en analys av automatiserad prestandatestning, som blir allt vanligare i takt med att tekniken utvecklas ytterligare.
Vad är prestandatestning?
Prestandatestning, ibland förkortat till ”perf testing”, är en process som utförs för att fastställa om en viss produkt kommer att utföra de förväntade processerna väl under olika arbetsbelastningar. Detta kan ske i form av prestandatestning av webbplatser eller prestandatestning i programvarutestning, beroende på vilken produkt det handlar om.
Prestandatester är främst avsedda att upptäcka felaktiga produktparametrar som kan ändras tidigt i produktens livscykel för att undvika större problem framöver. Detta kallas ofta för att hitta flaskhalsar, vilket avser en enskild komponent som håller tillbaka programvarans totala prestanda.
Prestandatestning kan utföras i ett labb eller i en produktionsmiljö och bedömer vanligtvis produktens hastighet, hastighet, skalbarhet, stabilitet, responsivitet och tillförlitlighet.
Skiljer sig prestandatestning från funktionell testning?
Perf-testning skiljer sig från funktionell testning, där man testar om vissa funktioner i en applikation fungerar, t.ex. knappen ”lägg i korgen” i en webbutik.
Prestandatestning undersöker hur väl en funktion fungerar under stor belastning, till exempel: skulle knappen fortfarande fungera om många människor lägger till varor i korgen samtidigt?
Båda dessa typer av tester hör till API-prestandatestning, vilket innebär att syftet är att fastställa den övergripande prestandan hos ett systemgränssnitt under vissa omständigheter, från programvarans baksida. Det finns många olika typer av verktyg för API-prestandatestning som den här artikeln kommer att behandla, till exempel prestandatestning av arbetsbelastningsmodeller.
Varför behöver vi prestandatester?
Tester av webbprestanda är viktiga för att utvecklare ska kunna ge intressenterna tillförlitlig information om applikationens prestanda och förutse hur den kommer att reagera på olika trafiknivåer.
Prestandatestning avslöjar också vad som behöver förbättras innan produkten kommer ut på hyllorna eller efter att den har tagits i drift, så att långsam prestanda, inkonsekvenser och dålig användbarhet kan undvikas. Den testas mot förväntade användarantal så att man kan lita på att den fungerar som förväntat.
Fördelar med prestandatestning
Vi har redan kortfattat nämnt fördelarna med prestandatestning bara genom att identifiera vad det är, men vi kommer att gå igenom en lista över de specifika fördelarna med prestandatestning nedan.
1. Realistisk information
Som nämnts ovan används prestandatestning för att ge intressenterna tillförlitlig och realistisk information om hur applikationen kommer att fungera. Utan detta riskerar det berörda företaget att få ett skadat rykte.
Noggranna prestandatester innebär att tillförlitliga siffror kan tillhandahållas som genom testprocessen kan förbättras, vilket innebär att produkten kan ha en fördel jämfört med andra produkter på marknaden och att den kan backas upp med tillförlitlig prestanda, vilket leder till ökad försäljning.
2. Gör det möjligt att förbereda
Prestandatester kan användas för att identifiera var programvarurelaterade fel kan uppstå när det finns många användare, vilket innebär att programmet kan optimeras så att dessa problem löses och att det klarar högre användning. Detta är idealiskt för e-handelssajter som till exempel kan behöva förbereda sig för stora händelser som Black Friday.
Genom att utföra prestandatester undviker du att webbplatsen kraschar när den är igång vid kritiska tillfällen. En nätbutik som inte klarar av att hantera antalet användare på Black Friday, som tar för lång tid att ladda eller som har problem, kommer sannolikt att gå miste om stora vinster.
3. Förbättrad användarupplevelse
Prestandatester bör utföras regelbundet för att den mest högpresterande webbplatsen eller programvaran ska kunna fortsätta att fungera som förväntat. Kontinuerliga prestandatester innebär att eventuella problem som uppstår i realtid löses så snart som möjligt. Vikten av detta har sin grund i användarupplevelsen, även utanför de stora händelser som vi beskrev ovan.
Om webbplatsen alltid är användarvänlig och förbättras så att den aldrig hamnar på efterkälken, kommer kunderna att besöka den ofta.
4. Jämförelse av
Prestandatester kan också användas för att jämföra en produkt med en annan. Detta kan vara till hjälp för en utvecklare som är på väg in i en mycket konkurrensutsatt bransch och som vill försäkra sig om att de är lika bra som eller kan överträffa sin främsta konkurrent på marknaden.
Detta kan användas som ett försäljningsargument för att få en fördel eller helt enkelt som ett riktmärke under testprocessen för att se till att programmet fungerar tillräckligt bra.
Utmaningar och begränsningar med prestandatester
Även om det finns ett antal betydande fördelar finns det på grund av dess komplexa natur vissa utmaningar och begränsningar med prestandatester som vi kommer att beskriva nedan.
1. Tid
För att dra nytta av alla dessa fördelar måste organisationer vara villiga att avsätta tid för prestandatestning. Det kan handla om att installera hårdvara och infrastruktur som de inte förväntade sig eller att avsätta anställda för prestandatestning.
För att prestandatestningen ska vara grundlig bör den inte skyndas på, och vissa företag kan ha svårt att lägga denna tid åt sidan i stället för att börja med nästa fas i projektet, eftersom det kan leda till långa förseningar.
2. Pengar
Det är kostsamma investeringar som måste göras i prestandatester. Priset på prestandatestverktyget beror på webbplatsens eller programvarans storlek och om organisationen väljer manuella eller automatiserade prestandatestverktyg.
Det finns gratis verktyg för prestandatestning, men de har begränsad funktionalitet och fungerar inte lika bra som betalda verktyg.
Dessutom kan prestandatester avslöja oväntade problem som kräver kostsamma uppgraderingar eller ytterligare systemkapacitet som inte hade räknats in i budgeten från början.
För mindre företag kan verktyg för prestandatestning vara en kostnad som de inte är villiga att betala trots att det kan påverka deras prestanda enormt på lång sikt.
3. Begränsningar av verktygen
Det kan finnas begränsningar beroende på vilket verktyg för prestandatestning en utvecklare väljer.
Som vi har nämnt kan du spara på budgeten om du väljer ett gratis verktyg för prestandatestning, men det kan missa viktiga aspekter. Vissa verktyg, även betalda, kan ha begränsad kompatibilitet, t.ex. kan vissa verktyg endast stödja testning av webbplatsens prestanda eller testning av webbläsarens prestanda och inte testning av programvarans prestanda.
Vissa verktyg för prestandatestning kan dessutom ha svårt att testa komplexa eller mycket stora applikationer och kräver noggrann övervakning av anställda.
Typer av prestandatester
Det finns flera olika typer av prestandatester som hänvisar till de metoder som används för att testa systemet. Metoden som används väljs utifrån omfattningen och typen av system som ska testas samt de mål som utvecklarna strävar efter.
Här kommer vi att identifiera de viktigaste typerna av prestandatester som används och hur de fungerar.
1. Belastningstestning
Verktyg för testning av belastningsprestanda gör det möjligt för utvecklare att förstå hur systemet skulle bete sig under ett förutbestämt, specifikt belastningsvärde.
Denna process innebär en simulering av det förväntade antalet samtidiga användare under en viss tidsperiod. På så sätt kontrolleras applikationens förväntade svarstider och potentiella flaskhalsar identifieras innan webbplatsen eller programvaran tas i drift. Detta kan göras för att testa om systemet kan hantera den förväntade användningen i allmänhet, eller för att testa hur en specifik funktion skulle klara sig, som exemplet ”lägg i korgen” som vi nämnde ovan. Detta kallas ibland ”enhetstestning”.
2. Stresstestning
Stresstestning är en annan form av prestandatestning av arbetsbelastningsmodeller och kan ofta göras med samma verktyg, men i stället för att ha ett begränsat, fastställt belastningsvärde ökar webbplatsens testkapacitet tills den går sönder.
Detta använder högre trafik än förväntat så att utvecklarna kan ta reda på vad som är felpunkten och se hur den hanterar höga nivåer av databehandling. Detta hjälper utvecklare att förstå programvarans skalbarhet och visar hur lång tid det tar för nyckeltal att återgå till normala driftnivåer efter en stor datahändelse.
Stresstestning kan ske innan eller efter att ett system tas i drift.
3. Testning av spikar
Detta är en delmängd av stresstestning, men analyserar mer specifikt systemets prestanda vid en plötslig, betydande ökning av antalet slutanvändare. Dessa prestandatester hjälper till att avgöra om systemet kan hantera en plötslig förändring av antalet användare under en kort tidsperiod, upprepade gånger.
4. Provning genom blötläggning
Den här typen av prestandatestning kallas även uthållighetstestning och är utformad för att testa ett systems långsiktiga prestanda och hur väl det klarar sig över tid. De analyserar genomströmning och svarstider efter långvarig användning för att kontrollera om prestandamåtten är konsekventa under hela tiden och om det finns några fel.
Vad ska vi testa genom prestandatestning?
Syftet med prestandatestning är att upptäcka problem, men huvudmålet är att veta vad som orsakar dem.
Nedan finns en förteckning över de saker som främst testas genom prestandatestning.
1. Flaskhalsar
Prestandatester ska alltid vara på jakt efter flaskhalsar som påverkar systemets totala prestanda. Detta kan vara relaterat till någon av de mätvärden för prestandatester som vi listar i nästa avsnitt.
2. Lastningstider
Detta innebär den tilldelning som krävs för att påbörja ansökan. Fördröjningen bör vara så kort som möjligt för att ge bästa möjliga användarupplevelse – om laddningstiden är längre än några sekunder kan det leda till att användarna försvinner.
3. Svarstider
En dålig svarstid är när det går för lång tid mellan det att en användare matar in information och svaret på åtgärden. Precis som för långa laddningstider kan detta frustrera en användare och få dem att lämna webbplatsen eller programmet.
4. Skalbarhet
Systemets skalbarhet bör testas, dvs. dess anpassningsförmåga till olika krav på dataanvändning. Begränsad skalbarhet kan identifieras om systemet kan fungera bra med ett fåtal samtidiga användare, men under belastnings- eller stresstester försämras när antalet användare ökar.
Mätvärden för prestandatester
Det är en sak att kunna testa dessa saker och se när de går fel, men hur mäts de egentligen?
Det finns otaliga mängder mätvärden som utvecklare använder för prestandatestning, så vi har valt ut de viktigaste och gett en kort beskrivning av dem nedan.
1. Genomströmning
Detta anger hur många informationsenheter som systemet kan bearbeta under en viss tid.
2. Användning av minnet
Med minne avses på en webbplats eller i samband med programvaruutveckling det lagringsutrymme som är tillgängligt för processorn eller arbetsbelastningen.
3. Bandbredd
Detta innebär den datavolym per sekund som kan flyttas mellan arbetsbelastningar, ofta över ett nätverk. Dålig bandbredd leder till dåliga laddningstider.
4. CPU-avbrott per sekund
Här mäts maskinvarans inverkan på processen genom att mäta antalet avbrott i maskinvaran som den får per sekund.
Kännetecken för ett effektivt prestandaprov
Ett bra prestandatest gör det möjligt för utvecklarna att agera på misstagen, men de specifika egenskaperna hos ett effektivt prestandatest är mer specifika och svåra att uppnå än så.
1. Realistisk testning
De bästa prestandatesterna är de som förutser verkliga scenarier som systemet kan stöta på.
Detta innebär att den kan optimeras för att arbeta under förhållanden som den har konstruerats för, så att den kan uppfylla sina prestandamål och inte stöta på problem i kritiska ögonblick.
2. Snabb analys
Testen av optimal prestanda gör det möjligt att göra ändringar i enlighet med resultaten så snart som möjligt.
Även om den måste vara grundlig bör uppgifterna vara lätta att analysera och utföras så snart som möjligt så att åtgärder kan vidtas. Detta är särskilt viktigt om testningen har ägt rum efter att applikationen eller webbplatsen har tagits i drift.
3. Tillförlitliga resultat
Även om snabbhet är viktigt för att optimera prestandatestningsprocessen måste de data som produceras vara tillförlitliga och korrekta så att korrekt beslutsfattande kan ske.
För att få fram tillförlitliga och snabba analyser är det många som använder sig av automatiserad prestandatestning, vilket vi kommer att gå in på senare.
Processen för prestandatester
Processen för prestandatester kommer att skilja sig åt för varje organisation beroende på de faktorer som vi redan har identifierat.
Det finns dock sex huvudsteg som beskriver vad de flesta prestandatestprocesser kommer att följa för att ge ett effektivt resultat.
1. Strategier för testning av prestanda
Det första steget för att påbörja en prestandatestningsprocess är att känna till testmiljön. Ta reda på vilka testverktyg du har till förfogande, och fatta beslut om huruvida testningen ska utföras manuellt eller automatiskt, och identifiera potentiella strategier för prestandatestning.
Se till att du förstår detaljerna för all hårdvara och programvara som är involverad, liksom alla nätverkskonfigurationer som kommer att användas.
2. Prestationskriterier
Därefter är det viktigt att identifiera målen för testet och de framgångskriterier som du arbetar mot, som kommer att vara olika för varje test. Identifiera t.ex. begränsningar i fråga om genomströmning och förväntade svarstider och fördela resurser.
I detta skede kan det vara bra att identifiera ett liknande system att jämföra med för att fastställa resultatmål.
3. Plan för prestandatester
När kriterierna har identifierats kan du börja planera och utforma prestandatestet.
Bestäm vilken användning applikationen sannolikt kommer att få och vilka viktiga scenarier du kan simulera för att se till att systemet reagerar på rätt sätt. Planera vilka uppgifter om prestandatester du vill samla in, hur du ska samla in dem och vilka mätvärden som ska användas.
4. Utformning av prestandatester
När all planering är helt klar kan du börja utforma och konfigurera testmiljön fysiskt och ordna de verktyg och resurser som behövs.
Skapa sedan prestandatesterna enligt designen och gör dem redo att börja köras.
5. Testa
Detta är den punkt där prestandatestet kommer att utföras. Det är viktigt att du övervakar processen under tiden som den pågår och skapar loggar som dokumenterar KPI:er under hela processen.
6. Analysera och testa på nytt.
Sammanställ resultaten och påbörja analysen.
Hur var det jämfört med dina förväntningar, vilka mätvärden mättes och hur reagerade systemet? Ändra sedan prestandatestet och gör ett nytt test för att identifiera förbättringar eller minskningar av prestandan. Förbättringarna bör minska med varje nytt test.
Registrera alla pågående resultat.
Exempel på prestandatester
Det finns många möjliga scenarier för prestandatestning beroende på vilket system som testas, dess syfte, vilka verktyg som används och vilken typ av prestandatestning som utförs.
Låt oss återgå till exemplet med e-handelssidan.
Webbplats för e-handel
Utvecklarna kanske vill använda prestandatestning med arbetsbelastningsmodell för att kontrollera att svarstiden inte överstiger tre sekunder när 2000 användare samtidigt går in på webbplatsen med hjälp av ett belastningstest.
Nästa steg kan vara att kontrollera att svarstiden fortfarande ligger inom ett acceptabelt intervall på fem sekunder när nätverksanslutningen är långsam.
Inför Black Friday kan utvecklarna använda ett stresstest för att identifiera det maximala antalet användare som webbplatsen kan ta emot innan den drabbas av fel som kraschar eller mycket långsamma svarstider. Under detta kontrollerar de webbplatsens minnes- och CPU-användning och hur databasservern reagerar vid toppbelastning.
De kommer sedan att testa alla dessa parametrar på nytt under olika förhållanden, kanske med hjälp av spike-testning eller soak-testning för att identifiera hur den kommer att reagera under olika tidsramar.
Utvecklarna kommer också att använda enhetstester av funktionen ”lägg till i kundvagnen”, till exempel för att testa hur systemet skulle reagera om 100 användare genomförde en transaktion samtidigt.
Bör du automatisera prestandatestning?
Automatiserad prestandatestning är en process där förtillverkade verktyg, programvara och kod används för att köra automatiseringsprocessen i stället för att utföra den manuellt.
Automatisering av prestandatestning blir oumbärlig i modern tid, med vissa organisationer som använder sig av Robotic Process Automation och vissa som till och med rör sig mot hyperautomatisering.
Programvara för automatisering av prestandatestning har en mängd fördelar och nackdelar som vi kommer att beskriva nedan.
Fördelar med automatiserade prestandatester
Prestandatestning tar bort mycket av den tid och de pengar som kan gå åt till att skapa testkod och manuellt upprepa den, vilket ökar effektiviteten i testcykeln.
Det innebär också ofta att utvecklarna kan starta prestandatestet och gå vidare och göra något annat, i stället för att ständigt övervaka det, vilket gör det möjligt att arbeta på distans och innebär att testerna till och med kan köras över natten.
Dessutom, som vi redan har nämnt, blir prestandatestningsprocessen på grund av automatiseringens natur inte bara snabbare utan också mer exakt och tillförlitlig, och kan slutföra omfattande processer utan risk för mänskliga fel.
Alla dessa faktorer sparar naturligtvis värdefull tid och pengar för företagen och ger ofta en högre avkastning på investeringen.
Begränsningar av automatiserade prestandatester
Automatiserade prestandatester kan ha begränsningar för vad de realistiskt kan uppnå. Det krävs ofta en mänsklig insats för mycket sofistikerade tester och för att korrigera de fel som kan uppstå i en automatiserad process.
Mänskliga observationer kan vara viktiga för att upptäcka fel och hjälpa till att förbättra kundupplevelsen, vilket inte kan garanteras med automatiserade tester.
Manuell testning lämpar sig ofta bättre för utforskande testning, användbarhetstestning och ad hoc-testning.
Slutsats: manuell vs. automatiserad prestandatestning
För att välja mellan manuell och automatiserad prestandatestning måste du noggrant utvärdera dina prestandakriterier och din budget. Automatiserad prestandatestning är ofta mer budgetvänlig och snabbare, särskilt för stora testbehov, men manuell testning kan hitta problem som ett automatiserat system inte kan hitta.
Verktyg för prestandatestning
Det finns många olika typer av verktyg för prestandatestning, men de kan huvudsakligen delas in i två kategorier: API-verktyg för prestandatestning och verktyg för prestandatestning av användargränssnitt.
Verktyg för testning av API-prestanda analyserar om rätt processer uppfylls i applikationens backend. Verktyg för prestandatester för REST API är en särskild typ som utför prestandatester på webben genom att skicka olika HTTP/S-begäranden.
Å andra sidan testar verktyg för testning av användargränssnittets prestanda klientsidan, vilket innebär att användarupplevelsen utvärderas.
De bästa verktygen för prestandatestning är de som kan göra båda dessa saker eftersom de ger en heltäckande bild av om systemet fungerar. Dessutom finns det både kostnadsfria verktyg och betalprogram för automatisering av prestandatestning på företagsnivå, så hur ska du bestämma dig?
Gratis verktyg för prestandatester: fördelar och begränsningar
Det finns ett antal kostnadsfria prestandatesttjänster på marknaden.
Den uppenbara fördelen med dessa är att de öppnar upp prestandatestning för mindre företag eller nystartade företag som kanske inte har budget för att betala för ett testverktyg för företag. Detta innebär att de kan få tillgång till grundläggande prestandatestfunktioner och redigera sitt system i enlighet med detta.
Begränsningarna med gratis programvara för automatisering av prestandatestning är dock att de ofta inte fungerar lika bra som betalda program. Deras funktioner kommer sannolikt att vara begränsade och det kommer att bli svårare att utveckla och underhålla skript.
Gratis verktyg för prestandatestning är kanske inte kompatibla med alla plattformar eller testtyper eller har ingen rapporteringsfunktion. Vissa funktioner kan vara låsta bakom en betalvägg, t.ex. tillgång till API-testning.
Verktyg för testning av företags prestanda: fördelar och begränsningar
Verktyg för testning av företags prestanda är programvara som är utformad för att fungera i hela företaget. De är ofta värda sin prislapp eftersom de sannolikt är kompatibla med många testtyper, språk och plattformar för ökad flexibilitet och skalbarhet.
Verktyg för prestandatester för företag är kraftfulla och kan utföra större tester på kortare tid och levereras med framtida underhållsuppdateringar för att förbättra prestandan, vilket gratisversioner kanske inte gör.
Företag kanske inte har en budget att avsätta för dessa prestandatesttjänster, särskilt inte för programvara med många funktioner som de inte kommer att använda eller om företaget är relativt litet.
Verktyg för prestandatestning för företag kan också vara svårare att få tillgång till och långsammare att implementera än enkla gratisversioner.
Ledande verktyg för programvarutestning, som ZAPTEST, minskar dock denna begränsning genom att erbjuda en modell med verktyg + tjänst. På detta sätt arbetar en ZAP-expert nära och på distans med kundorganisationen (som en del av deras team) och stöder dem i genomförandet av planen för prestandatestning, ZAPTEST-verktyget och i optimeringen av testprocessen.
När ska du använda verktyg för prestandatestning för företag respektive gratis verktyg för prestandatestning?
Utvärdera dina alternativ utifrån din organisations förutsättningar. Ibland kan det vara mer kostnadseffektivt att välja en gratisversion som har de viktigaste funktionerna som du behöver, till exempel för att testa en webbplats vid ett tillfälle.
Om du ingår i en stor organisation som kan dra nytta av ett komplext, datatätt testsystem som du kommer att använda många gånger för olika system, kommer ett verktyg för prestandatester för företag troligen att hjälpa dig mest.
Checklista för prestandatestning
1. Budget
För att bestämma det bästa verktyget för prestandatestning är det nödvändigt att ha en detaljerad budget för att kunna avgöra om du har råd med en företagsnivå eller en annan betald version.
Undersök de olika tillgängliga verktygen och fatta ett beslut baserat på dina prestandakriterier och din testmiljö.
2. Planera
När budgeten är klar kan du planera prestandatestningsprocessen, t.ex. välja den bästa strategin, bestämma vilka kriterier du testar och vilka mätvärden du ska använda.
Planeringsprocessen bör vara grundlig oavsett om du väljer manuell eller automatiserad prestandatestning.
3. Analysera
Utför prestandaprovningen med noggrann analys under hela provningen och efteråt.
För att ett prestandatest ska vara effektivt måste du kunna agera på bästa möjliga sätt, så titta noga på uppgifterna och fortsätt att testa och analysera under systemets livstid.
Slutsats
Vi har gått igenom några av de olika typerna och verktygen för prestandatestning samt de viktigaste fördelarna och begränsningarna med prestandatestning.
Prestandatester är särskilt viktiga eftersom användningen av system och tillämpningar på nätet inte avtar utan faktiskt ökar i hastighet, och det är viktigare än någonsin att ha ett system som klarar av stora mängder tryck i den enorma konkurrensen.
För att ligga i framkant av innovationen bör stora företag överväga fördelarna med programvara för automatisering av prestandatestning på företagsnivå och hur en investering i den kan gynna dem på lång sikt.
