Tiriamasis testavimas – tai specifinis programinės įrangos testavimo būdas, turintis daug privalumų programai ir leidžiantis išnaudoti visą jos potencialą.
Nuo to, kaip komanda integruoja žvalgomuosius bandymus į įprastinius patikrinimus, gali priklausyti, kaip gerai veikia programinė įranga, ypač kai bandymų procedūros atliekamos naujais ir netikėtais būdais. Tai padeda testuotojams atskleisti programos problemas, kurios priešingu atveju gali likti nepastebėtos iki pat paleidimo ir dėl kurių neveiks pagrindinės funkcijos.
Suprasdami žvalgomojo testavimo procesus, tipus ir metodus, galite padėti organizacijai ir jos testavimo komandoms nurodyti, kaip jį įtraukti į įprastus patikrinimus.
Taip pat yra daug nemokamų įrankių, kuriais komanda gali naudotis, kad palengvintų šiuos patikrinimus ir pastebėtų problemas, kol jos dar netapo kliūtimi kurti.
Šiame vadove pristatome žvalgomojo testavimo privalumus ir pagrindinius aspektus, kuriuos komanda turėtų apsvarstyti prieš diegimą.
Kas yra tiriamasis testavimas?
Žvalgomasis testavimas apjungia testo projektavimo ir vykdymo etapus, taip užtikrinant visišką testuotojo veiklos laisvę ir leidžiant jam nuolat racionalizuoti savo darbą.
Tikėtina, kad šios komandos, tikrindamos programinę įrangą, atras naujų komponentų, kuriuos reikia nuodugniai patikrinti, ir lengvai sugalvos naujų testų, kurie būtų naudingi programai.
Tiriamasis testavimas yra panašus į ad hoc testavimą, tačiau jis atliekamas pagal daug griežtesnius dokumentus, taip pat apima aktyvesnį mokymosi procesą.
Mažiau struktūruotas metodas padeda testuotojams nustatyti, kaip programa gali reaguoti į realius scenarijus ir testavimo atvejus, ir labai papildo scenarijais paremtą testavimą.
Komandos žvalgomojo testavimo kokybė dažnai priklauso nuo atskirų testuotojų įgūdžių, nes tikrinant reikia kūrybiškumo ir nuodugnaus programinės įrangos supratimo. Tai nuolatinis atradimų procesas, kurio metu testuotojai naudoja dedukcinius samprotavimus, kad vadovautųsi bendra technika.
Tiriamasis testavimas ypač naudingas, nes atspindi, kaip naudotojai gali naudoti programinę įrangą. Dauguma naudotojų klaidas ir problemas randa atsitiktinai, todėl šie nenusakomi procesai gali padėti testuotojams rasti problemų, kurių iš anksto nustatyti patikrinimai gali neatskleisti.
Be to, komanda gali automatizuoti šią procedūrą, kad užtikrintų didesnį efektyvumą.
1. Kada reikia atlikti žvalgomąjį testavimą?
Tiriamasis testavimas apskritai naudingas beveik visuose programinės įrangos testavimo procesuose, tačiau jis ypač naudingas norint greitai gauti grįžtamąją informaciją apie programą.
Šias patikras komanda taip pat gali įtraukti, jei pritrūktų scenarijaus testų. Neturint aiškios programinės įrangos tikrinimo krypties, žvalgomasis testavimas gali padėti atskleisti problemas, kurios netinka standartiniams patikrinimams.
Įvairių testavimo procedūrų užtikrinimas leidžia testuotojams bet kuriame etape suprasti šią programinę įrangą daug giliau, tačiau ankstyvas jų atlikimas gali duoti daugiau naudos.
Kad būtų ramiau, komandos gali vėliau, prireikus, pakartotinai atlikti tiriamuosius bandymus.
2. Kada nereikia atlikti žvalgomojo testavimo
Yra keletas scenarijų, kai žvalgomasis testavimas neduoda jokios naudos, nors testuotojams gali būti naudingiau palaukti, kol programinė įranga įgis pagrindines funkcijas.
Programos funkcijos paprastai susikerta arba sąveikauja tarpusavyje, o tai reiškia, kad vienos funkcijos tiriamieji testai gali būti neaktualūs, kai kūrėjų komanda pridės daugiau šios programinės įrangos.
Be to, šiuos bandymus galima atlikti kartu su scenarijais pagrįstomis patikromis be jokių problemų, jei tik bandytojai gali užtikrinti, kad būtų parengta išsami dokumentacija, kad būtų išvengta painiavos.
Žvalgomasis testavimas, palyginti su kitais testavimo tipais, yra labai universalus, todėl šie patikrinimai yra labai pritaikomi.
3. Kas dalyvauja žvalgomajame testavime?
Žvalgomajame testavime tam tikru atžvilgiu dalyvauja daug darbuotojų, įskaitant:
– Šiuos testus gali atlikti bet kokio įgūdžių lygio programinės įrangos testuotojai, tačiau geriau programinę įrangą išmanantys komandos nariai gali sukurti įvairesnių patikrinimų.
Patirtis taip pat gali turėti įtakos jų gebėjimui nustatyti naudingiausius testus.
– Programinės įrangos kūrėjai, kurie pripažįsta šių bandymų rezultatus, atsižvelgia į visus pasiūlymus ir dažnai patys parengia problemos sprendimą.
Jų atsakas į bandymus yra tai, kas leidžia pasiekti tinkamą programos būklę, kad ji būtų sėkmingai išleista.
– Projektų vadovai, kurie prižiūri visą šį procesą ir netgi gali nuspręsti, kokius testavimo tipus komandos naudoja.
Jie taip pat gali būti atsakingi už komandoms skirtos programinės įrangos, kuri gali supaprastinti ar net automatizuoti bandymus, įsigijimą.
Žvalgomojo testavimo gyvavimo ciklas
Žvalgomojo testavimo procese daug dėmesio skiriama testuotojo laisvei, tačiau vis tiek laikomasi tam tikros struktūros.
Trys pagrindiniai šio metodo etapai:
1 etapas: Mokymasis
Testuotojai pradeda nuo to, kad gerai supranta programinę įrangą ir jos funkcionalumą – kritiškai analizuoja ją, kad nustatytų, kaip ji dera tarpusavyje.
Tai leidžia testuotojui išsiaiškinti įprastus įvesties duomenis, kuriuos vartotojas gali atlikti, nors jis jau gali būti susipažinęs su programa ir jos veikimu.
Mokymosi etape gali prireikti net mokymo, kaip naudotis programine įranga. Tai yra tyrinėjimo etapas, kurio metu testuotojas gauna visą informaciją, reikalingą norint sukurti platų naudingų testų spektrą.
2 etapas: bandymų projektavimas
Žvalgomųjų testų kūrimas apima įvairias taisykles ir parametrus, tačiau vis tiek suteikia daugiau laisvės, palyginti su testavimu pagal scenarijų, kurio specifika žinoma dar prieš pradedant testavimą.
Bandytojas gali parengti patikras, kurios, jo manymu, tiksliau tinka programai ir gali atskleisti vertingų duomenų kūrimo komandai, įskaitant pastebimas klaidas, kurias ji turi ištaisyti.
Šiame etape testavimo komandos nustato, kokį metodą taikyti ir kaip paskirstyti darbą skirtingiems testuotojams, kad būtų išnaudotos jų stipriosios pusės.
3 etapas: vykdymas
Sukūrę naudojamus patikrinimus, testuotojai gali tikrinti programą jų manymu veiksmingiausiais būdais – tai jie gali atlikti iš karto po konkretaus testo sukūrimo.
Šiame etape bandytojai aktyviai ieško problemų ir ieško, kaip atskleistos problemos galėtų būti panaudotos kitoms funkcijoms ir savybėms.
Nors atliekant žvalgomuosius testus yra tam tikro intuityvaus darbo, jie vis tiek atliekami laikantis nustatytų procesų ir tikslų, todėl testavimas gali būti sklandus ir lengvai pritaikomas prie konkrečių testavimo tikslų.
Tiriamasis ir scenarijaus testavimas
Tiriamasis testavimas iš esmės yra priešingas scenarijaus testavimui, nors abu jie gali būti svarbūs siekiant užtikrinti, kad programa būtų parengta išleidimui. Pastarieji paprastai yra labiau formalūs ir struktūrizuoti, apimantys daug plačios apimties testų, palyginti su tiriamaisiais patikrinimais, kurie dažnai būna labiau susiję su taikomosios programos funkcionalumu.
Be to, žvalgomasis testavimas taip pat yra daug lengviau pritaikomas, tuo tarpu scenarijais paremti testai gali būti sudėtingi, jei programinė įranga labai pasikeičia. Žvalgomieji testai gali padėti greičiau aptikti klaidas ir imtis veiksmų joms pašalinti, todėl jie ypač naudingi tais atvejais, kai labai svarbu greitai gauti grįžtamąjį ryšį.
1. Aktyvus žvalgomasis testavimas
Aktyvus tiriamasis testavimas apima testuotojo sukurtą automatinį patikrinimo scenarijų, kurį vykdo kitas testuotojas. Jei taikoma, šiuose scenarijuose atsižvelgiama į ankstesnius testus.
Du testuotojai paprastai keičiasi vaidmenimis per visą tikrinimo procedūrą, kad būtų galima dar kartą patikrinti šių scenarijų ir procesų patikimumą.
Aktyviųjų testų aprėptis yra platesnė, tačiau dėl to neprarandamas tiriamųjų patikrinimų prekių ženklo specifiškumas. Šie scenarijai taip pat leidžia parengti geresnę dokumentaciją, todėl lengviau atkurti bet kokias testuotojų aptiktas problemas.
Dokumentacija yra esminis aktyvių bandymų komponentas, nes ji taip pat padeda suinteresuotosioms šalims matyti bendrą programos pažangą.
2. Pasyvus žvalgomasis testavimas
Pasyviajam žvalgomajam testavimui reikia tik vieno testuotojo, tačiau dirbant poromis procesas gali būti dar paprastesnis.
Taikant šį metodą naudojama speciali programinė įranga, kuri fiksuoja bandytojų veiksmus ir leidžia jiems lengvai atkartoti bet kokią aptiktą problemą. Dažniausiai tai būna vaizdo įrašas, kuriame testuotojas komentuoja savo veiksmus žingsnis po žingsnio.
Testavimo proceso įrašymas taip pat leidžia sužinoti apie programos našumą, įskaitant tai, kaip greitai ji reaguoja į įvesties užklausas.
Pasyvusis testavimas suteikia tiek testuotojams, tiek kūrimo komandai daug išsamios informacijos apie programinės įrangos veikimą.
Tiriamojo testavimo metodai
Žvalgomasis testavimas paprastai atliekamas „ekskursijos” formatu, kai testuotojas efektyviausiu būdu tyrinėja programinę įrangą.
Komanda gali rinktis įvairias ekskursijas, įskaitant:
– Ekskursijos su gidu
Taikant šį metodą pirmenybė teikiama svarbiausioms taikomosios programos funkcijoms, tiksliai atkartojant tai, kaip vidutinis naudotojas dirba su programine įranga, ir nustatant problemas, kurias jis natūraliai rastų.
– Ekskursijos po istoriją
Šios kelionės metu tikrinamos seniausios programos funkcijos, siekiant įsitikinti, kad jos vis dar veikia; tai ypač svarbu, jei kūrėjai pridėjo naujų funkcijų, kurios prieštarauja programai.
– Pinigų kelionė
Šiuo žvalgomuoju bandymu tikrinamos svarbiausios taikomosios programos funkcijos, ypač tos, už kurias klientai ir užsakovai moka pinigus, kad galėtų jomis naudotis – paprastai tai yra didžiausi testavimo komandos prioritetai.
– Nusikaltimų turas
Kartais testuotojai aktyviai stengiasi sugadinti programą arba sukurti neigiamus scenarijus, pavyzdžiui, įvesti neteisingą informaciją ir ištirti, kaip programa į tai reaguoja.
– Ekskursija po užpakalines alėjas
Šis procesas apima funkcijas, kuriomis greičiausiai naudosis mažiau klientų; jos taip pat svarbios bet kokiam testavimo metodui, ypač dėl to, kad sąveikaus su kitomis funkcijomis.
– Intelektuali kelionė
Ši kelionė dar labiau išplečia programą, išbandydama sudėtingiausias funkcijas su didesnėmis (kartais didžiausiomis) reikšmėmis, kad būtų nustatytas programinės įrangos apdorojimo greitis.
Žvalgomojo testavimo metodai
Yra du pagrindiniai tiriamojo testavimo būdai:
1. Sesijomis pagrįstas tiriamasis testavimas
Tai yra laiko skaičiavimu pagrįstas metodas, kuriuo siekiama kiekybiškai įvertinti testavimo procesą, suskirstant jį į „sesijas” su dviem komponentais: misijomis ir užduotimis.
Misija – tai konkrečios sesijos tikslas ir trukmė, suteikianti žvalgomojo testavimo specialistui aiškų tikslą.
Chartijoje nustatoma kiekvienos sesijos apimtis ir išsamiai nurodomi konkretūs tikslai, kuriuos bandytojas ketina pasiekti. Taip užtikrinamas aukštesnis atskaitomybės (ir dokumentavimo) lygis, nes šios patikros suskirstomos į lengviau valdomas sudedamąsias dalis.
Sesijomis pagrįsti testai taip pat padidina produktyvumą ir suteikia testuotojui aiškią metriką bei trikčių šalinimo informaciją.
2. Porinis tiriamasis testavimas
Testavimas poromis yra panašus į aktyvųjį tiriamąjį testavimą, nes visų pirma dirbama poromis – paprastai tuo pačiu įrenginiu – ir vienu metu nuolat tikrinama programa. Taikant šį metodą vienas testuotojas siūlo įvairius testavimo atvejus ir fiksuoja pažangą, o kitas testuotojas testuoja programinę įrangą.
Atliekant porinį testavimą labai svarbu bendrauti, nes taip užtikrinama, kad abu testuotojai žinotų apie patikrinimus ir jų tikslą.
Jei šias poras skirstote patys, būtinai atsižvelkite į kiekvieno testuotojo stipriąsias ir silpnąsias puses, nes taip galėsite sukurti stipresnius žvalgomųjų testų procesus.
Kokie veiksniai turi įtakos tiriamajam testavimui?
Veiksniai, galintys turėti įtakos komandos žvalgomojo testavimo kokybei, yra šie:
– Svarbiausias programinės įrangos tikslas ir pagrindinės funkcijos.
– Konkretūs dabartinio programos etapo testavimo tikslai.
– Kiekvieno komandos testuotojo individualus vaidmuo ir gebėjimai.
– turimos priemonės, pavyzdžiui, nemokama programinė įranga testams automatizuoti.
– Parama, kurią bandytojai gauna iš kolegų ar vadovybės.
– kliento pageidavimai ir dabartinės plačios rinkos tendencijos.
– Programos naudojimo paprastumas, pvz., sąsajos sklandumas.
– Laikas, per kurį testuotojai turi užbaigti testavimo etapą.
– Įvesties ir kiti įvairūs duomenys, kuriuos ketina naudoti bandytojai.
– funkcijos, kurias kūrėjai ilgainiui prideda prie programinės įrangos.
Tiriamojo testavimo tipai
Komanda gali taikyti tris pagrindinius žvalgomojo testavimo tipus:
1. Laisvo stiliaus žvalgomasis testavimas
Testavimas laisvu stiliumi – tai ad hoc požiūris į programos tikrinimą. Taikant šią metodiką reikia atsižvelgti į nedaug taisyklių, todėl jos veiksmingumas gali būti skirtingas; kai kurioms programoms ir komponentams reikia taikyti griežtesnę metodiką.
Šie patikrinimai vis tiek galėtų būti naudingi, nes padėtų testuotojams susipažinti su šia programa ir patvirtinti ankstesnio testuotojo darbą.
Net ir nesant griežtų taisyklių, patyrę ir įgudę testuotojai gali lengvai pasinaudoti šiuo formatu savo naudai. Jie gali lengvai naudotis visais programinės įrangos aspektais – kai kuriose situacijose testavimo taisyklės yra ribojančios ir gali netyčia apriboti komandos rezultatus.
2. Scenarijais pagrįstas tiriamasis testavimas
Testuojant pagal scenarijus kaip kiekvieno testo pagrindas naudojamos tikroviškos situacijos, pavyzdžiui, tikrinami įvesties duomenys, kuriuos naudotojai gali atlikti tipiškai veikiant programinei įrangai.
Testuotojai stengiasi užtikrinti, kad kiekvienas jų parengtas scenarijus atitiktų tai, kaip naudotojas dirba su programa.
Laikas gali būti apribotas, nes komandos tikslas – išbandyti kuo daugiau scenarijų; priklausomai nuo būsimų terminų, greičiausiai nepavyks aprėpti visų galimybių.
Testuotojai turėtų naudoti įvairių kategorijų testus.
3. Strategija pagrįstas žvalgomasis testavimas
Strategija pagrįstas testavimas apima daugybę konkrečių metodų, įskaitant ribinės vertės testavimą, lygiavertiškumo metodus, rizika pagrįstus metodus ir kt. Paprastai pirmenybė teikiama testuotojams, kurie jau yra susipažinę su taikomąja programa, nes jie gali parengti pritaikytas strategijas, apimančias šiuos atskirus metodus.
Taikant strategija pagrįstą požiūrį daugiausia dėmesio skiriama programinės įrangos funkcijoms (ir vidiniam veikimui), tačiau nenagrinėjami galimi scenarijai, dėl kurių naudotojas gali susidurti su iškilusiomis problemomis. Tai gali padėti atlikti platesnę taikomosios programos ir įvairių jos funkcijų analizę, kuri gali būti išsamesnė nei taikant kitus metodus.
Rankiniai ar automatiniai tiriamieji testai?
Testavimo komandos gali atlikti žvalgomąsias patikras rankiniu būdu arba jas automatizuoti. Bet kuris iš šių variantų gali suteikti didžiulę naudą, o tinkamas pasirinkimas dažnai priklauso nuo projekto specifikos.
Rankinis tiriamasis testavimas
Atliekant rankinį žvalgomąjį testavimą galima atlikti įvairesnius pagal užsakymą atliekamus patikrinimus. Nors tai gali užtrukti ilgiau dėl to, kad žmonės testuotojai yra lėtesni už kompiuterius, rankinis tikrinimas gali būti naudingas nustatant naudotojo patirtį.
Testuotojas ne tik užtikrina, kad visos programos funkcijos veiktų taip, kaip turėtų, bet ir patikrina, ar vartotojas gali lengvai ja naudotis. Tai bene labiausiai paplitusi žvalgomojo testavimo forma, nors tai nebūtinai reiškia, kad ji yra veiksmingiausia.
1. Žvalgomųjų testų atlikimo rankiniu būdu privalumai
Rankinio tiriamojo testavimo privalumai:
Didesnis dėmesys naudojimo patogumui
Automatiniai tiriamieji testai gali pastebėti programinės įrangos neatitikimus, tačiau gali nepavykti jų interpretuoti taip pat, kaip žmogus testuotojas.
Tai reiškia, kad reikia suprasti, kaip programinės įrangos naudotojai gali naršyti arba sąveikauti su programa, o į tai automatizavimas negali atsižvelgti.
Rankiniu būdu dirbantys tiriamieji testuotojai gali pateikti išsamesnę grįžtamąją informaciją, įskaitant konkrečią informaciją apie tai, kaip jų rastos problemos veikia bendrą programinę įrangą arba bendrą patirtį.
Gali atlikti pakeitimus realiuoju laiku
Vienas iš pagrindinių žvalgomojo testavimo privalumų yra tas, kad galima nustatyti testo poreikį ir palyginti greitai jį atlikti prieš aukcione parduodant reikiamus patobulinimus.
Automatizuotas testavimas paprastai yra daug greitesnis procesas, tačiau testuotojai turi palaukti, kol viskas bus baigta, ir tik tada atlikti pakeitimus – rankiniu būdu dirbantys testuotojai tai gali padaryti dar vykstant žvalgomajam testavimui.
Tačiau tai dažnai įmanoma tik tais atvejais, kai klaidos daro poveikį nedidelėms programinės įrangos dalims.
Didesnis dėmesys detalėms
Žvalgomasis testavimas daugiausia susijęs su naujų būdų, kaip testuoti programą, atradimu, kartu ją suprantant; kartais tai gali reikšti, kad vienas testas veda prie kito, suteikdamas testuotojui idėjų.
Automatizuoti testai gali į tai neatsižvelgti, nes testavimo komanda gali būti gana laisva. Rankiniu būdu dirbantys testuotojai nuolat tobulina savo žinias apie programinę įrangą ir kuria naujus, tačiau ne mažiau svarbius testus, tačiau tai gali būti sudėtinga, jei trečiosios šalies programinė įranga juos automatizuoja.
Gali rasti klaidų už kodo ribų
Atlikdami rankinius tiriamuosius patikrinimus, testuotojai gali patikrinti kiekvieną taikomosios ir programinės įrangos aspektą, įskaitant ne tik patį kodą.
Daugelis automatizuotų metodų apsiriboja kodu ir jo veikimu, todėl testavimo komandos gali nepastebėti problemų, kurios gali iškilti kitose programos dalyse.
Tai daugiausia priklauso nuo naudojamos automatizavimo programinės įrangos, nes kai kurie sprendimai gali pasiūlyti platesnį požiūrį į žvalgomąjį testavimą.
užtikrina viso projekto kokybę.
Automatizuotose žvalgomosiose patikrose ieškoma tik klaidų ir metrikų programoje; vietoj to rankiniu būdu dirbantys testuotojai galėtų patikrinti programinę įrangą ir pateikti savo išsamius atsiliepimus.
Pavyzdžiui, jie gali patikrinti kodą ir nustatyti, ar jis nėra per sudėtingas – tai ypač svarbu, nes neveikiantis kodas gali sulėtinti našumą, tačiau automatiniai procesai jo nepastebėtų.
Testuotojo žinios apie programinę įrangą gali būti naudingos diagnozuojant problemas, kurios iškyla kituose testavimo etapuose.
2. Rankinio tiriamojo testavimo iššūkiai
Rankinio tiriamojo testavimo iššūkiai yra šie:
Žmogiškųjų klaidų galimybė
Automatizuotu tiriamuoju testavimu galima atlikti tą patį patikrinimą tiek kartų, kiek reikia, nekeičiant tikslios eigos, taip užtikrinant nuoseklumą ir patikimus rezultatus.
Rankinis tiriamasis testavimas yra pažeidžiamas žmogiškųjų klaidų, t. y. testuotojas gali įvesti neteisingą reikšmę. Paprastai šiuos testus galima patikrinti du kartus ir ištaisyti visus neatitikimus, nes jie gali pasirodyti akivaizdūs net iš pirmo žvilgsnio.
Tačiau testo kartojimas pastebėjus klaidą gali užtrukti ilgiau.
Paprastai užima daugiau laiko
Net jei testuotojai teisingai atlieka kiekvieną žvalgomąjį patikrinimą be žmogiškųjų klaidų, visas šis procesas užima daug laiko, palyginti su automatizuota programine įranga, kuri testus gali apskaičiuoti daug greičiau.
Tai gali būti mažiausiai kelių valandų skirtumas, t. y. laikas, kurį testuotojai galėtų skirti toms programos dalims, kurioms automatizavimas neduotų jokios naudos.
Žvalgomuosius testus taip pat reikia nuolat prižiūrėti, o automatizavimas leidžia testus atlikti per naktį.
Ilgas dokumentų rengimo procesas
Panašiai, rankinis dokumentavimas rankinio testavimo metu ir po jo gali nereikalingai apsunkinti tiriamojo testavimo procesą.
Dėl to sunkiau sekti pakeitimus ir programinės įrangos pakeitimus laikui bėgant – automatizuota programinė įranga paprastai gali intuityviai į tai atsižvelgti atlikdama bandymus.
Tai dar vienas administracinis klausimas, kuris atima laiką ir energiją kitiems reikalams, todėl iš esmės sumažėja visos programinės įrangos testavimo procedūros apimtis ir plotis.
Turi gerai išmanyti programinę įrangą
Bet kokio įgūdžių lygio rankiniai testuotojai gali patikrinti programą ir kruopščiai ją išbandyti. Taip yra todėl, kad jie įdėjo daug darbo, kad suprastų programinę įrangą – tai pirmasis tyrinėjimo proceso etapas.
Tačiau, jei testuotojas sunkiai ar aplaidžiai mokosi, kaip ši programa veikia, jam greičiausiai bus sunku sukurti ir atlikti tinkamus testus.
Gerai išmanydami programinę įrangą, testuotojai gali viršyti įprastus testavimo parametrus.
Brangiai kainuojanti priežiūra
Kai remiamasi rankiniu tiriamuoju testavimu, paprastai reikia didesnės testavimo komandos, todėl ilgalaikės išlaidos gali būti didesnės, palyginti su automatinėmis patikromis. Trečiosios šalies programinė įranga, kuria atliekami šie žvalgomieji bandymai, gali būti labai vertinga arba net visiškai nemokama.
Priklausomai nuo užduočių sudėtingumo, įmonei gali prireikti ilgametę patirtį turinčių aukštos kvalifikacijos testuotojų, kad galėtų visapusiškai patikrinti programą. Tai gali gerokai padidinti testavimo išlaidas, palyginti su nemokama automatizavimo programine įranga.
3. Kada naudoti rankinį tiriamąjį testavimą
Rankinis žvalgomasis testavimas dažnai susiduria su tam tikrais sunkumais, tačiau jis vis tiek yra labai svarbi nuodugnaus programinės įrangos testavimo sudedamoji dalis. Taip yra todėl, kad yra programinės įrangos aspektų, į kuriuos automatizavimas negali visiškai atsižvelgti ir kuriems taip pat reikia skirti daug dėmesio.
Pavyzdžiui, programinė įranga negali patikimai pateikti grįžtamojo ryšio apie naudotojo sąsajas ar naudotojo patirties testus. Testuotojai gali gerai suprasti, kaip programa veikia praktiškai, tik tada, jei rankiniu būdu atlieka testus. Tai reiškia, kad ir kūrėjai, ir testavimo komandos turi apsvarstyti galimybę į savo patikrinimus įtraukti bent tam tikrą rankinį tiriamąjį testavimą.
Automatizuotas tiriamasis testavimas
Automatizuoto testavimo metu tam tikriems patikrinimams automatizuoti naudojama trečiosios šalies programinė įranga – paprastai testuotojai gali ją pritaikyti praktiškai bet kokiam testui.
Tačiau paprastai tam reikia, kad komanda bent kartą atliktų patikrą rankiniu būdu ir kalibruotų automatiką. Tai gali gerokai supaprastinti tiek testavimo, tiek kūrimo komandų procesą.
Nors žvalgomųjų testų automatizavimas gali būti neįprastas dalykas, tai gali būti naudinga jūsų programai ir jos veikimui.
1. Tiriamojo testavimo automatizavimo privalumai
Pagrindiniai žvalgomojo testavimo automatizavimo privalumai:
Nuoseklus bandymų vykdymas
Dėl žmogiškosios klaidos gali būti lengvai padaromos testavimo klaidos, kurių ištaisymas reikalauja ir laiko, ir pinigų; automatinės tiriamosios patikros leidžia testavimo komandoms apeiti šią problemą.
Testuotojai veiksmingai moko automatizavimo programinę įrangą, kaip teisingai atlikti testą, užtikrindami, kad ji kiekvieną kartą jį atliktų vienodai. Taip padidinamas bendras testų patikimumas ir sutrumpinamas laikas, kurį kūrėjai praleidžia laukdami rezultatų, ypač atsižvelgiant į tai, kad testuotojai gali lengvai nustatyti, kad testai būtų atliekami per naktį.
Taupo visų laiką
Automatizuoti testai leidžia kūrėjams daug greičiau pradėti taisyti problemas, o testuotojams – atlikti daugiau tiriamųjų patikrinimų. Nepriklausomai nuo galutinio termino, komanda gali atsižvelgti tik į tiek scenarijų, kiek reikia, todėl svarbu, kad testuotojai į jiems skirtą laiką sutalpintų kuo daugiau patikrinimų.
Automatizavimas padeda atlikti šiuos žvalgomuosius testus daug greičiau nei rankiniai testuotojai.
Ekonomiškai efektyvus metodas
Priklausomai nuo komandos pasirinktos programinės įrangos, automatizavimas gali būti kur kas ekonomiškesnis nei rankinis testavimas – jis gali būti netgi nemokamas.
Nors rankinius testuotojus vis dar būtina samdyti ir kai kurie iš jų bus atsakingi už automatizavimo procedūrų kalibravimą, automatizavus kuo daugiau tiriamųjų testų, įmonė turi galimybę sumažinti išlaidas personalui.
Kai komanda supranta automatizavimo programinę įrangą, gali ją pritaikyti įvairioms užduotims atlikti.
Pritaikomas keliems įrenginiams
Jei kuriama mobilioji programa, rankiniam testavimui gali prireikti darbuotojų, turinčių patirties su įvairiais įrenginiais, pavyzdžiui, išmanančių įvairias telefonų operacines sistemas, įskaitant „Android” ir „iOS”.
Automatizuota programinė įranga gali į tai atsižvelgti ir atlikti bandymus keliuose įrenginiuose, kad užtikrintų, jog programa nuolat gerai veiktų. Testavimo komandoms, turinčioms žinių apie šiuos prietaisus, šis procesas gali būti nuobodus; automatizavimas vėlgi gali supaprastinti įprastus žvalgomojo testavimo procesus ir vienu metu testuoti kiekvieną iteraciją.
Daugkartinio naudojimo scenarijai
Jei komanda testuoja kelias tos pačios programinės įrangos versijas ar net kelis produktus su panašia architektūra ar funkcijomis, galima pakartotinai naudoti scenarijus iš vieno testavimo ciklo į kitą.
Jei reikia atlikti kokių nors suderinamumui užtikrinti reikalingų pakeitimų, rankiniu būdu dirbantys testuotojai gali juos atlikti daug greičiau nei rašyti visiškai naują scenarijų.
Automatizavimas optimizuoja beveik kiekvieną žvalgomojo testavimo proceso etapą, nes jį lengva įdiegti įvairiose programinės įrangos konfigūracijose.
2. Tiriamųjų testų automatizavimo iššūkiai
Šis procesas taip pat susijęs su įvairiais iššūkiais, pvz:
Atstovauja tik vieną testavimo pusę
Nėra praktiška ar protinga automatizuoti kiekvieną patikrinimą testuojant programą, nes yra aspektų, kuriuos patikimai įvertinti gali tik rankiniu būdu dirbantis testuotojas.
Tai apima ir naudotojo patirtį, nors, priklausomai nuo pasirinktos programinės įrangos, gali būti įmanoma gauti išsamią našumo ir apkrovos testavimo analizę naudojant automatizavimą.
Žvalgomųjų bandymų automatizavimui trūksta žmogiškojo vertinimo, todėl kai kuriuos patikrinimus geriausiai gali atlikti rankinis testuotojas.
Nerealūs lūkesčiai dėl gebėjimų
Panašiai automatinio tiriamojo testavimo procedūros gali suteikti didžiulę naudą ne tik programai, bet ir visam projektui.
Tačiau šis metodas ne visada yra tinkamas. Organizacijos, kurios kiekviename etape labai pasikliauja automatizavimu, gali turėti neišsamų požiūrį į programinę įrangą.
Automatizavimas nustato problemas, tačiau už jų ištaisymą atsakingos testavimo ir kūrimo komandos. Svarbu apibrėžti bendrą automatizavimo strategiją, kad kiekvienas projekto dalyvis suprastų jos galimybes ir apribojimus.
Aukštesni įgūdžių reikalavimai
Automatizavimas paprastai apima ne tik žinias, kaip atlikti sudėtingus patikrinimus, bet ir tai, kaip juos suprogramuoti ir automatizuoti. Tam dažnai reikia ilgametės scenarijų rašymo patirties, nors automatizavimo programinė įranga gali padėti gerokai optimizuoti šiuos procesus.
Labai svarbu, kad įmonė samdytų įvairius ir tvirtus įgūdžius turinčius testuotojus, kurie padėtų veiksmingai automatizuoti.
Automatizavimo srityje patyrę testuotojai taip pat žino, kokioms funkcijoms teikti pirmenybę renkantis iš trečiųjų šalių programinės įrangos galimybių, kad komanda gautų gerą produktą.
Netinkamos strategijos ir bendravimas
Sėkmingam automatizavimui svarbiausia yra nuoseklios strategijos komunikavimas; kūrėjai, testuotojai ir net projekto vadovai turi būti vieningi viso testavimo metu.
Komandos turi dirbti kartu, kad nustatytų būsimų procedūrų apimtį ir tvarkaraštį. Tai pasakytina apie bet kurį testavimo procesą, tačiau tai ypač svarbu dėl papildomo automatizavimo sudėtingumo. Geresnės komunikacijos linijos ir informacijos silosų nebuvimas leidžia komandoms efektyviau atlikti bandymus.
Tinkamos automatizavimo programinės įrangos pasirinkimas
Automatizavimui paprastai reikia pasirinkti trečiosios šalies programą, kuri atitinka komandos testavimo tikslus. Kiekviena parinktis turi skirtingus kainodaros planus ir funkcijas. Tai gali būti didelės ilgalaikės išlaidos, net jei programinė įranga sėkmingai atlieka automatizuotus testus ir suteikia didelę vertę.
Yra keletas nemokamų parinkčių, kurios siūlo įspūdingas funkcijas, prilygstančias aukščiausios kokybės alternatyvoms. Labai svarbu, kad testavimo komanda ištirtų visas galimas parinktis, įskaitant nemokamą programinę įrangą.
Išvados: Žvalgomojo testavimo automatizavimas vs. rankinis žvalgomasis testavimas
Yra nedaug projektų, kuriems būtų naudingas tik rankinis arba tik automatizuotas testavimas, nes visų rūšių programos geriau veikia derinant abu metodus.
Nors automatizuoti testai gali optimizuoti kūrimo ir kokybės užtikrinimo komandų procesą, kai kuriems dizaino aspektams reikia rankinio tiriamojo testavimo; tai vienintelis būdas gauti grįžtamąjį ryšį apie naudotojus.
Laikui bėgant vis daugiau organizacijų stengiasi įdiegti hiperautomatizavimą– procesą, kuriuo siekiama maksimaliai automatizuoti protingai, užtikrinant, kad verslas turėtų veiksmingą strategiją – ji vis dar gali egzistuoti kartu su rankiniu testavimu.
Automatizuotas testavimas tampa vis labiau prieinamas įmonėms, nes vis dažniau naudojama automatizavimo programinė įranga, ypač kai yra keletas nemokamų variantų su daugybe funkcijų. Dėl to įmonėms lengviau taikyti kombinuotą rankinio ir automatizuoto žvalgomojo testavimo metodą.
Tam įtakos turėjo ir populiarėjantis „Agile” (projekto valdymo metodas, kuriuo siekiama laipsniškos, tačiau reikšmingos pažangos) kūrimo metodas, nes jis reikalauja trumpų testavimo ciklų. Kombinuotoji testavimo strategija galėtų būti pritaikyta šiai ir įvairioms kitoms kūrimo strategijoms, pavyzdžiui, nuolatiniam integravimui, kuris taip pat reikalauja pakartotinio testavimo, kad būtų užtikrintas sėkmingas tos pačios programinės įrangos daugybės iteracijų įgyvendinimas.
Ko reikia norint pradėti tiriamąjį testavimą
Žvalgomojo testavimo prielaidos yra šios:
1. Aiškūs testavimo tikslai
Nors žvalgomasis testavimas tapatinamas su laisve ir kartais painiojamas su ad hoc testavimu, vis dėlto jis vykdomas pagal konkrečias taisykles arba apibrėžtus tikslus. Vienintelis būdas QA komandai sėkmingai valdyti beveik bet kokią testavimo struktūrą – žinoti tikėtiną kiekvieno testo rezultatą, ypač atsižvelgiant į tai, kad testuotojai paprastai patys rengia šiuos patikrinimus.
2. Kūrybingi, intuityvūs testuotojai
Žvalgomieji bandymai skirti naujiems ir kūrybiškiems bandymams, kurie gali padėti atskleisti su programa susijusias problemas, kurti. Tai gali atlikti net ir ribotos patirties turintys testuotojai, jei jie supranta programinę įrangą.
Svarbu, kad testuotojai suprastų programą ir jos veikimą; tai leidžia jiems intuityviai parengti daugybę naudingų patikrinimų.
3. Nuoseklūs dokumentai
Kiekvieno tipo testavimas turi būti išsamiai dokumentuojamas, kad kiekvienas komandos narys laikytųsi numatyto testavimo tvarkaraščio ir kad niekas netyčia nepakartoti patikrinimo.
Tai labai svarbus bendravimo viename skyriuje ir keliuose skyriuose aspektas, pvz., kūrėjams, kuriems reikia reguliarių bandymų atnaujinimų, kad būtų galima išsiaiškinti, kaip išspręsti problemas.
4. Kliento požiūris
Tiriamasis testavimas apima daugybę strategijų ir scenarijų, įskaitant tuos, kurie atspindi, kaip naudotojai praktiškai dirbs su programa. Labai svarbu, kad testavimo grupės į tai atsižvelgtų atlikdamos patikras, net jei jos neatlieka scenarijais pagrįstų testų.
Tai leidžia testuotojui į testavimą pažvelgti iš skirtingų perspektyvų ir pagerinti šių patikrinimų kokybę.
5. Automatizuoto testavimo programinė įranga
Kadangi komanda greičiausiai gali automatizuoti didelę dalį savo sukurtų testų, svarbu, kad prieš vykdymo etapą ji galėtų įsigyti aukštos kokybės automatizuoto testavimo programinę įrangą.
Kūrėjai ir testavimo komanda, remdamiesi savo žiniomis apie projektą, gali nustatyti trečiosios šalies programą, kuri atitiktų jų reikalavimus.
Žvalgomojo testavimo procesas
Konkretūs žvalgomojo testavimo etapai yra šie:
1. Klasifikuokite bandymo procedūrą
Pirmasis žvalgomojo testavimo etapas – atitinkamos komandos nariai turi suprasti, kaip jie galėtų atlikti šiuos patikrinimus, pavyzdžiui, suklasifikuoti dažniausiai pasitaikančius gedimus ir atlikti pagrindinių priežasčių analizę.
Čia testuotojai patys kuria testų idėjas; priklausomai nuo tikslios metodikos, jie taip pat gali parengti testų chartiją.
Čia nustatoma tos sesijos ar darbo dienos apimtis ir testai.
2. Pradėkite bandymus
Nors tikslūs parametrai (pvz., kiekvieno testo trukmė ar bendras sesijos laikas) priklauso nuo komandos pageidavimų ir projekto reikalavimų, visi žvalgomieji testai turi tam tikrų bendrų bruožų.
Suklasifikavę atitinkamus patikrinimus, kokybės užtikrinimo darbuotojai pradeda atlikti bandymus ir užrašo visus rezultatus.
Jei patikrinimus reikia automatizuoti, testuotojai galėtų nustatyti, kad jie veiktų per naktį, arba patys juos stebėti dienos metu.
3. Rezultatų peržiūra
Kitas etapas – rezultatų peržiūra, lyginant juos su numatytaisiais ir laukiamais rezultatais. Jei atlikus šiuos bandymus nustatomi dideli netikėti bet kokio pobūdžio nukrypimai, bandytojai gali pakartoti patikrinimą arba iš karto pradėti ieškoti būdų, kaip tai ištaisyti. Kūrėjams teikiami pasiūlymai gali būti labai svarbūs nustatant teisingą metodą, o jų pranešimuose apie klaidas tai gali būti išsamiai išdėstyta.
4. Testo ataskaitų aptarimas
Po testavimo rezultatų aukciono kokybės užtikrinimo komanda pradeda tikrinti pačią testavimo procedūrą ir pagal tai nustato, ar jų žvalgomojo testavimo metodas buvo tinkamas.
Šioje bandymų santraukos ataskaitoje netgi gali būti padaryta išvada, kad atliekant patikrinimus buvo padaryta veikimo klaidų, dėl kurių reikia atlikti pakartotinį bandymą. Testavimo komanda taip pat gali dar kartą patikrinti programą, kai kūrėjai ištaisys šias problemas, kad nustatytų, ar tai pavyko.
Geriausia žvalgomojo testavimo praktika
Veiksmingiausia žvalgomojo testavimo praktika:
1. Testuotojų suporavimas
Daugeliui žvalgomojo testavimo formų naudingas bendras testuotojų darbas – tai dar labiau supaprastina procesą ir suteikia galimybę į tuos pačius patikrinimus pažvelgti iš kelių perspektyvų.
Atliekant bandymus poromis taip pat išvengiama tunelinio matymo galimybės ir skatinama kūrybiškiau kurti bandymus.
Keli žmonės, dirbantys su tais pačiais testais, gali užtikrinti didesnį visų testų tikslumą, o darbo krūvio padalijimas taip pat padeda greičiau atlikti testus visai komandai.
2. Rankinių ir automatinių testų derinimas
Kai kurios įmonės vis dar sunkiai įsisavina automatizavimą, o kitos per daug juo naudojasi net tada, kai rankinis požiūris gali būti naudingesnis. Šių patikrinimų derinimas leidžia testavimo komandai aprėpti daugiau aspektų ir užtikrinti visos programos kokybę, įskaitant subjektyvesnius aspektus, pvz., programinės įrangos sąsają.
Vienintelis būdas užtikrinti visišką kiekvienos funkcijos ar ypatybės testavimą – kartu atlikti rankinius ir automatinius testus.
3. Suprasti rinką
Svarbu, kad testavimo metu testuotojai žinotų ir tikslinę auditoriją, ir konkurentus; tai padės jiems įvertinti, kaip žmonės reaguos į dabartines programos funkcijas.
Tam tikros funkcijos yra labai paklausios, todėl testavimo komandai gali būti naudinga joms suteikti prioritetą atliekant patikrinimus. Nors jie taip pat turi išlaikyti plačią testavimo aprėptį. Tai gali nulemti bandymų kryptį ir galimą programinės įrangos sėkmę paleidimo metu.
4. Bandymams naudokite tikrus įrenginius
Programinės įrangos testavimo grupės gali naudotis emuliatoriais, kad palengvintų tiriamuosius patikrinimus; tai gali būti naudinga, tačiau retai atspindi praktinę naudotojo aplinką.
Tikri įrenginiai padeda padidinti tiriamojo testavimo patikimumą, nes sukuria tikroviškesnę patirtį – emuliatoriai yra netobuli ir juose gali būti klaidų, kurių nėra klientams.
Emuliatorius yra greitas būdas išbandyti kelias platformas, tačiau jis nepakeičia tikrųjų įrenginių.
Tiriamojo testo rezultatų tipai
Atlikę patikrinimą testuotojai gali gauti įvairių rezultatų, įskaitant:
1. Bandymų rezultatai
Patys rezultatai gali būti įvairių formų, nes žvalgomasis testavimas gali apimti šimtus unikalių bandymų. Šie rezultatai sudaro didžiąją dalį testavimo procedūros rezultatų ir suteikia svarbios informacijos apie programos būklę ir jos gebėjimą patenkinti naudotojo poreikius.
Gavę šiuos rezultatus, bandytojai galėtų dar kartą patikrinti sistemą ir patvirtinti informaciją, kad nustatytų tolesnius veiksmus.
2. Bandymų žurnalai
Programos žurnalai dažnai atskleidžia testavimo proceso metu padarytas klaidas ir problemas; tai yra patikimiausia informacija, kodėl programinė įranga nesėkmingai atliko testą. Vyresnieji testuotojai ypač gerai moka interpretuoti programos žurnalus, todėl gali nustatyti sudėtingų problemų priežastis.
Kuo daugiau informacijos bandytojai gauna iš šių žurnalų, tuo daugiau jie gali padėti kūrėjams.
3. Bandymų ataskaitos
Priklausomai nuo komandos automatizavimo procedūros, jų rezultatai gali automatiškai generuoti pranešimą apie klaidą. Jame nurodomos visos programoje esančios klaidos, įskaitant jų priežastis ir kitus kūrėjams svarbius duomenis.
Testuotojai gali pateikti savo nuomonę, ar programinė įranga yra parengta paleidimui, o tai paprastai vadinama sprendimu „eiti/neiti”.
Tiriamojo testavimo pavyzdžiai
Pateikiame tris pavyzdžius, kaip įmonė galėtų naudoti žvalgomąjį testavimą:
1. Mobilioji žaidimų programėlė
Jei žaidimų bendrovė nori išleisti svarbų mobiliosios programėlės atnaujinimą, žvalgomieji testuotojai gali patikrinti ir senas, ir naujas funkcijas, kad nustatytų, ar programėlė vis dar stabili. Tai gali padidinti programinės įrangos sudėtingumą tiek, kad jos nepavyks paleisti tam tikruose įrenginiuose.
Testuotojai stengiasi kuo labiau sumažinti šio poveikio poveikį ir užtikrinti, kad būtų galima naudoti kuo daugiau platformų.
Žvalgomojo testavimo specialistai kruopščiai patikrina žaidimą ir daugybę sudėtingų scenarijų, kad įsitikintų, jog kiekviena funkcija veikia taip, kaip numatyta; šiam procesui paprastai reikia rankinio testuotojo.
2. Paslaugų teikėjo svetainė
Taip pat atliekami žvalgomieji bandymai, siekiant įsitikinti, kad svetainės veikia ir naudotojams, ir darbuotojams, todėl bandytojai gali pradėti nuo prisijungimo prie svetainės. Patikrinama, ar svetainėje galima kurti naujus naudotojų profilius ir ar naudotojai negali naudotis administravimo funkcijomis.
Tuomet bandytojai pradeda tikrinti paslaugą, kuri gali būti užsakomas susitikimas arba pateikiamas užsakymas. Tada jie užbaigs pirkimą, kad įsitikintų, jog kasa veikia tinkamai, ir peržiūrės užsakymo patvirtinimą el. paštu bei paskyros istoriją.
3. Ligoninės valdymo sistema
Žvalgomasis testavimas gali būti naudingas visų rūšių programoms ir sistemoms. Ligoninių valdymo sistemose testuotojas gali patikrinti, kaip mokėjimo modulis sąveikauja su kitomis funkcijomis.
Aukštesniuose integracijos lygiuose, neatlikus griežtų bandymų, gali atsirasti reikšmingų klaidų. Atliekant šiuos patikrinimus gali būti sudaroma architektūrinė schema, kurioje stebima daugybė sistemos komponentų ir jų tarpusavio sąveika.
Testuotojai taip pat nagrinėja ankstesnių sistemos iteracijų problemas ir specialiai tikrina, ar jos vis dar egzistuoja, o aptikę klaidų imasi skubių veiksmų.
Klaidų ir klaidų, aptiktų atliekant tiriamąjį testavimą, tipai
Klaidos, kurias testeriai gali aptikti žvalgomojo testavimo metu, yra šios:
1. Nesuderinamos funkcijos
Tam tikros programos funkcijos gali nesąveikauti tarpusavyje taip, kaip tikėtasi, todėl naudotojai gali negalėti atlikti pirkinių arba naudotis programa. Testuotojai tikrina atskiras funkcijas ir kartu su kitomis, kad įsitikintų, jog viskas dera tarpusavyje.
2. Netinkamas vartotojo sąsajos dizainas
Programos naudotojo sąsaja lemia, kaip kas nors naudojasi programine įranga. Pavyzdžiui, jei svarbios funkcijos klientams nėra akivaizdžios, jie gali jų nepastebėti, o tai apriboja jų naudojimąsi programa.
Atliekant rankinį vartotojo sąsajos testavimą nustatomas ir ištaisomas vartotojui nepatogus dizainas.
3. Autentiškumo nustatymo klaidos
Daugelyje programų ir svetainių galima sukurti naudotojo profilį su tam tikromis privilegijomis. Labai svarbu, kad bandytojai patikrintų, ar vidutiniai naudotojai, naudodami programinę įrangą, gali kokiu nors netikėtu būdu pasiekti slaptus duomenis ar net administravimo funkcijas.
4. Neveikiantis kodas
Testuotojai gali aptikti pasenusį kodą, kuris vis dar yra programoje ir kuris netgi gali būti pastebimų našumo problemų priežastis. Neveikiantis kodas pernelyg apsunkina vidinį programos veikimą ir gali sukelti klaidų, kurių galima išvengti. Tai nustačius ir optimizavus, programinė įranga darbuotojams ir naudotojams suteikia daugiau galimybių reaguoti į poreikius.
Bendrosios žvalgomojo testavimo metrikos
Įprastiniai rodikliai, su kuriais testuotojai gali susidurti atlikdami žvalgomuosius testus, yra šie:
1. Veikimo testo metrikos
Atliekant tiriamuosius testus, kuriais vertinamas bendras programos veikimas, galima gauti įvairių metrikų. Tai gali būti mažiausias, vidutinis ir didžiausias atsako laikas, taip pat gedimų ir sėkmės rodikliai, kad būtų galima nustatyti stabilumą.
2. Testų aprėpties metrikos
Testų aprėptis yra svarbi, nes nuo jos priklauso, kiek programų kategorijų ir aspektų apima testai. Pavyzdžiui, reikalavimų aprėpties procentinė dalis leidžia įvertinti, ar yra funkcijų, kurioms reikia papildomų testavimo etapų.
3. Bendras bandymo efektyvumas
Sėkmingų ir nesėkmingų patikrinimų skaičiaus stebėjimas padeda testuotojams nustatyti bendrą programos būklę. Be to, komanda gali stebėti, kiek aptiktų klaidų yra kritinės.
4. Defektų pasiskirstymas
Panašiai, tikrinant defektų pasiskirstymą, parodoma, kurie komponentai ar funkcijos yra labiausiai linkę į klaidas. Tai gali būti programos dalys, kurios dažnai sąveikauja su kitomis, todėl labai svarbu nustatyti šių testų prioritetus.
5. Regresijos rodikliai
Atlikdami tiriamąjį regresijos testavimą testuotojai gali pamatyti, kaip elgiasi skirtingos tos pačios programinės įrangos iteracijos ir kaip tai gali paveikti našumą.
Defektų įšvirkštimo rodiklis ir defektų skaičius, tenkantis vienai statybai, yra konkretūs rodikliai, padedantys tai padaryti.
Išaiškinti tam tikrą painiavą: Žvalgomasis testavimas vs. ad hoc testai
Kadangi daug dėmesio skiriama testuotojo laisvei, kai kurie žmonės dažnai painioja tiriamąjį testavimą su ad hoc testavimu. Šie du formatai turi keletą esminių panašumų, tačiau galiausiai jais siekiama skirtingų tikslų.
1. Kas yra ad hoc testavimas?
Ad hoc testavimas – tai visiškai nestruktūruotas metodas, kuriuo nesilaikoma įprasto testavimo plano, kad būtų galima rasti defektų, kurie kitu atveju nebūtų pastebėti.
Atliekant šį bandymą paprastai nepateikiama jokia dokumentacija, todėl sunku atkurti problemas, nebent bandytojas yra visiškai tikras dėl jų priežasties.
Vienas iš tokių pavyzdžių – „beždžionių testavimas”, t. y. tikrinimas, kurio metu atliekami atsitiktiniai įvesties duomenys ir galiausiai siekiama sugadinti sistemą.
Panašiai kaip ir žvalgomojo testavimo atveju, daugelis ad hoc testuotojų, atlikdami šias patikras, dirba poromis; tai padidina jų patikimumą. Ad hoc metodas gali būti naudingas atlikus formalų testavimą, kad įsitikintumėte, jog patikrinimuose atsižvelgta į visas galimybes; tai taip pat padeda, kai tolesniam testavimui atlikti trūksta laiko. Tinkamai atlikti ad hoc testai yra labai naudingi.
2. Tiriamojo testavimo ir ad hoc testų skirtumai
Atliekant ad hoc bandymus paprastai nepateikiama oficiali dokumentacija. Tai labai skiriasi nuo žvalgomųjų bandymų, kai dėl improvizacinio šių patikrinimų pobūdžio dar svarbesnis tampa įrašų tvarkymas.
Atliekant tiriamuosius testus naudojama daugiau įvairių formalių testavimo metodų, o atliekant ad hoc patikrinimus to išvengiama, nes nepaisoma įprasto testavimo etiketo. Tai padeda jiems aptikti klaidų, kurių kitaip testeriai niekada nerastų.
Žvalgomasis testavimas turi aiškius tikslus ir ribas, tačiau komandos nariams vis tiek leidžiama kūrybiškai atlikti bandymus. Ad-hoc testai paprastai neturi apibrėžtų galutinių tikslų, išskyrus tai, kad programinė įranga gali būti išbandyta kaip tik gali. Atliekant ad hoc testavimą dažnai taip pat reikia iš anksto žinoti programinę įrangą ir jos funkcijas, o atliekant žvalgomąjį testavimą į įprastus procesus įtraukiamas programos mokymasis.
Žvalgomasis testavimas „Agile” sistemoje
Agile metodika labai skatina nuolatinį tobulėjimą. Tai reiškia, kad ji puikiai dera su tiriamaisiais testais, ypač didėjant poreikiui dažnai atnaujinti programinę įrangą.
Suderinus žvalgomąjį testavimą su Agile metodu, komandos nariai gali turėti tvirtesnę testavimo struktūrą, nes į savo tvarkaraščius įtraukia išleidimo planavimą ir sprinto vykdymą. Įmonė, taikanti „Agile” metodus, galėtų dar labiau pasinaudoti šia galimybe, sujungdama ją su žvalgomuoju testavimu; tai puikus būdas išbandyti kiekvieną atskirą programos programinės įrangos komponentą. Kadangi testuotojai gali atlikti žvalgomuosius patikrinimus be scenarijų, tai sutaupo daug brangaus laiko ir kokybės užtikrinimo darbuotojams, ir kūrėjams.
Automatizuotas tiriamasis testavimas padeda sutaupyti lėšų, nes padeda įmonėms daug greičiau patikrinti naujausias taikomosios programos iteracijas, galbūt net per naktį. Atlikus žvalgomąsias patikras galima greitai gauti naudingų rezultatų, o kūrėjai gali imtis reikiamų pakeitimų kito sprinto metu.
Rankinis žvalgomasis testavimas vis dar teikia daug naudos kartu su „Agile” metodu, nes padeda nustatyti problemas, kurių automatinis metodas gali nepastebėti. Kitos testavimo formos paprasčiausiai užtrunka per ilgai arba suteikia per mažai naudos, kad būtų patogiai pritaikytos „Agile” sistemai. Žvalgomieji patikrinimai gali padėti įsitikinti, kad kiekviename „Agile” etape programinė įranga ir jos funkcionalumas gerokai patobulėja.
7 klaidos ir spąstai, kurių reikia vengti įgyvendinant tiriamuosius testus
Pateikiame septynias dažniausiai pasitaikančias klaidas, kurias įmonės dažnai daro įgyvendindamos žvalgomuosius testus, ir būdus, kaip jų išvengti:
1. Nesubalansuotas rankinis ir automatinis testavimas
Išsiaiškinti, kurie testai geriausiai veikia atliekant rankines patikras, o kuriuos būtų naudinga automatizuoti, užtrunka laiko, tačiau komandos gali testuoti daug efektyviau.
Automatizavus per daug testų, programa gali būti sudėtinga arba nepatogi vartotojui, nes trūksta žmogaus testuotojo.
2. Laiko apribojimai
Žvalgomasis testavimas yra greitesnis už daugelį kitų testavimo būdų, tačiau dėl projekto terminų realybės vis tiek yra apribojimų, kiek testų komanda gali atlikti.
Laiko valdymas ir įsipareigojimas užtikrinti testavimo aprėptį padeda testavimo komandai atlikti kuo daugiau patikrinimų daugelyje plačių kategorijų.
3. Nelankstūs testeriai
Nors žvalgomojo testavimo specialistams nereikia išankstinio programinės įrangos išmanymo ar itin gilių įgūdžių, patikrinimai vis tiek priklauso nuo atskirų komandos narių gebėjimų ir iniciatyvos.
Projekto vadovas turi išmintingai paskirstyti šias testavimo funkcijas, prireikus jas palikdamas kūrybingesniems ir intuityvesniems komandos nariams.
4. Sunkumai atkartojant nesėkmes
Ne visada aišku, kokie veiksmai prisideda prie testo nesėkmės; taip pat gali būti neaišku, kurie programos aspektai yra kalti.
Todėl taikant daugelį žvalgomųjų metodų testeriai sujungiami į poras arba net tiesiogiai įrašomas testerio ekranas, kad būtų galima geriau suprasti problemas ir tikslias jų priežastis.
5. Neaiškūs dokumentai
Nesvarbu, ar tai būtų automatinė klaidų ataskaita, ar rankiniu būdu atliktų bandymų įrašas, gera dokumentacija padeda kūrėjams lengviau imtis veiksmų pagal testavimo komandos išvadas.
Testavimo komanda turi užtikrinti aukštos kokybės įrašų tvarkymą kiekvieno patikrinimo metu, pateikdama kuo išsamesnę informaciją kiekvienoje ataskaitoje.
6. Dideli lūkesčiai
Tiriamasis testavimas naudingas beveik bet kokiam programinės įrangos projektui, tačiau jo taikymo sritis vis dar ribota – geriausiai jis veikia kartu su kitais testavimo metodais.
Testavimo grupės turi atlikti šiuos patikrinimus kartu su įprastais scenarijaus testais; tik taip kokybės užtikrinimo skyriai gali užtikrinti nuolatinę plačią testų aprėptį.
7. Netinkamas automatizavimas
Svarbu, kad testavimo komanda ir projekto vadovas suprastų, kokia automatizavimo programinė įranga duoda daugiausia naudos konkrečiai programai.
Skirtingos trečiųjų šalių galimybės siūlo savo unikalias funkcijas, todėl komandos pasirinkimas gali nulemti jų robotizuotų procesų automatizavimo sėkmę; jie turi apsvarstyti visas galimybes.
5 geriausi nemokami žvalgomojo testavimo įrankiai
Penki geriausi žvalgomojo testavimo įrankiai, kuriais kokybės užtikrinimo komandos gali naudotis nemokamai:
1. ZAPTEST FREE Edition
„ZAPTEST Free” suteikia aukščiausio lygio funkcionalumą už absoliučiai nulinę kainą, todėl bet kuri organizacija gali pasinaudoti lengvu žvalgomųjų testų įgyvendinimu.
Šią programą galima automatizuoti bet kurioje platformoje, įrenginyje ir naršyklėje naudojant naujovišką 1SCRIPT technologiją.
ZAPTEST taip pat teikia lanksčią RPA automatizavimo funkciją, leidžiančią derinti ją su rankiniu būdu.
2. XRAY tiriamoji programa
„XEA” leidžia naudotojams kurti išsamias bandymų chartijas ir lengvai fiksuoti jų pažangą, taip supaprastinant žvalgomojo testavimo klaidų ataskaitos etapą.
Šioje parinktyje dėmesys sutelkiamas tik į naudotojo požiūrį ir siūlomas centralizuotas rezultatų centras, kuriame galima atnaujinti kitų testuotojų duomenis.
Tačiau šiuo metu XRAY nėra integruotos automatikos, todėl tai gali riboti ilgalaikį jos veiksmingumą.
3. Vabzdžių magnetas
„Bug Magnet” – tai naršyklės plėtinys, siūlantis nuodugnų tiriamąjį testavimą, leidžiantis testuotojams tikrinti kraštinius atvejus ir kitas problemines reikšmes.
Šis plėtinys taip pat leidžia lengvai integruoti fiktyvų tekstą, el. pašto adresus ir kelis simbolių rinkinius.
Tačiau ji prieinama tik „Firefox” ir „Chrome” naršyklėms, todėl yra mažiau universali nei jos konkurentės.
4. „Azure” bandymų planai
„Azure Test Plans” yra pagrindinė „Microsoft” „Azure” platformos dalis, leidžianti testuotojams surinkti daugybę duomenų pagal įvairius scenarijus.
Ši parinktis tinka tiek darbalaukio, tiek žiniatinklio programoms, be to, užtikrinama visapusiška atsekamumo galimybė, leidžianti aiškiai fiksuoti programinės įrangos kūrimo procesą.
Tačiau šis metodas dažnai reikalauja gilesnės integracijos su „Azure”, todėl jis yra mažiau lankstus.
5. Testiny
Testiny specializuojasi rankinio tiriamojo testavimo srityje ir siūlo išmanųjį redaktorių, kuris leidžia testuotojams kurti patikras naudojant medžio struktūrą, kad būtų užtikrintas maksimalus lankstumas.
Kiekvienas paleidimo ar bandymo atvejo pakeitimas išlieka programos istorijoje, kad būtų užtikrinta visiška atskaitomybė ir atsekamumas.
Tačiau tai nemokama tik mažoms komandoms ir atvirojo kodo projektams.
Kada turėtumėte naudoti įmonių, o kada – nemokamus žvalgomųjų testų įrankius?
Nors į žvalgomąjį testavimą verta investuoti, o aukščiausios klasės programose paprastai siūloma daugiau funkcijų, yra daug nemokamų galimybių, kuriose funkcijų daugiau nei pakanka.
Žvalgomasis testavimas gali būti reikšmingos veiklos išlaidos, jei pasirenkate aukščiausios kokybės modelį, tačiau ne kiekviena programinės įrangos kūrimo įmonė ar komanda turi tam pinigų. Geriausios trečiosios šalies programinės įrangos pasirinkimas dažnai priklauso nuo konkrečių įmonės reikalavimų.
Mokamas sprendimas gali būti vienintelis būdas patenkinti to projekto poreikius; prieš pasirinkdama programą komanda turi išnagrinėti įvairius pasirinkimus.
Mažesnes komandas turinčioms įmonėms gali būti naudingiausi nemokami testavimo įrankiai, nes daugelis parinkčių yra nemokamos ribotam naudotojų skaičiui.
Arba jie gali pasirinkti parinktis be šio apribojimo ir tas, kurios gali atitikti testavimo grupės mastą. Dėl to gali būti dar naudingiau suporuoti žvalgomuosius testuotojus, kad būtų galima užtikrinti tikslesnius rezultatus – komandai natūraliai reikės mažiau naudotojų profilių.
Daugelis paslaugų siūlo nemokamą programinės įrangos bandomąją versiją, kad organizacijos galėtų patikrinti, ar ji atitinka jų poreikius; paprastai tai trunka tik porą savaičių.
Žvalgomojo testavimo kontrolinis sąrašas, patarimai ir gudrybės
Yra daug papildomų patarimų, į kuriuos testuotojai gali atsižvelgti pradėdami žvalgomuosius patikrinimus, įskaitant:
1. Tinkamai suskirstykite funkcijas ir modulius
Kad išvengtų nesusipratimų, testavimo komandos turėtų sudaryti aiškų kiekvienos funkcijos ir ketinamų atlikti patikrinimų sąrašą. Tai taip pat reiškia, kad reikia užtikrinti, jog testai būtų tinkamai paskirstyti tarp programinės įrangos funkcijų.
Norint pasiekti geriausių rezultatų, labai svarbu, kad testavimo komanda susitartų, kurie nariai atliks kiekvieną testą, atsižvelgiant į jų atitinkamus įgūdžius ir stipriąsias puses.
2. Suprasti programinę įrangą
Mokymosi etapas yra labai svarbi tiriamojo testavimo dalis. Tai reiškia, kad prieš kurdami testus testuotojai turi aktyviai dirbti su programine įranga ir išsiaiškinti, kaip ji veikia.
Mokymasis apie vidinę šios programinės įrangos veikimą gali būti bendradarbiavimo procesas, užtikrinantis geresnį visos komandos supratimą. Tai leidžia testuotojams parengti geresnes patikras ir testavimo atvejus.
3. Išsiaiškinkite problemines sritis
Kiekviena programa turi funkcijų arba komponentų, kurie susikerta su kitais. Sudėtingėjant programinei įrangai, didėja tikimybė, kad joje atsiras klaidų, todėl gali prireikti daugiau testavimo. Komanda turi aktyviai dirbti, kad išsiaiškintų, kuriems komponentams reikia papildomos pagalbos.
Jie gali taikyti konkrečius testavimo maršrutus, kurie geriausiai atspindi taikomosios programos poreikius ir bendrus komandos testavimo prioritetus.
4. Pradėkite nuo pagrindinių naudotojų scenarijų
Kokybės užtikrinimo komandos, jei reikia, tiriamuosius testus gali atlikti bet kokia tvarka, tačiau gali būti naudingiau pradėti nuo lengvesnių patikrinimų ir tik tada gilintis į sudėtingesnes funkcijas.
Tai leidžia sklandžiai pereiti prie sudėtingumo ir suteikia testuotojams galimybę suprasti programinę įrangą. Tai taip pat padeda patikrinti, ar pagrindinės funkcijos veikia taip, kaip tikėtasi.
5. Sudarykite bandytojų poras
Porinis žvalgomasis testavimas supaprastina ir patvirtina kokybės užtikrinimo etapą, todėl testuotojai gali dirbti visiškai pasitikėdami kiekvienu patikrinimu. Bendradarbiaujant bet koks testavimas tampa veiksmingesnis, nes kiekvienas komandos narys geriau susipažįsta su programine įranga.
Be to, jie gali pateikti daug išsamesnes ataskaitas apie klaidas dėl savo individualaus požiūrio, todėl kūrėjai gali gauti daugiau informacijos, su kuria gali dirbti.
6. Atlikite keletą testų
Komandos galimybės pakartotinai išbandyti paraišką priklauso nuo tvarkaraščio ir terminų. Tačiau, jei įmanoma, gali būti naudinga dar kartą patikrinti ypač problemiškus komponentus.
Be to, kartojant bandymus galima patikrinti, ar anksčiau aptikta problema jau išspręsta ir ar ji neturės tolesnio poveikio programinei įrangai. Kartais toks kruopštumas yra būtinas, norint įsitikinti, kad bandymas bus sėkmingas.
Išvada
Tiriamasis testavimas gali būti naudingas visų rūšių programinės įrangos kūrimo bendrovėms, nes jis papildo scenarijų testavimą ir daugelį kitų patikrinimų.
Naudodamos žvalgomuosius bandymus, kokybės užtikrinimo komandos gali patikrinti programas pagal aukštesnius standartus, pagerinti galutinės programinės įrangos kokybę ir padėti kūrėjams ištaisyti klaidas, jei jų yra.
Didžiausią naudą galima gauti derinant rankinį ir automatinį žvalgomąjį testavimą, nes visiems programinės įrangos komponentams skiriamas vienodas dėmesys.
Jei jūsų įmonei reikalinga tiriamojo automatizavimo programinė įranga, „ZAPTEST FREE Edition” siūlo daug platesnes ir lankstesnes funkcijas nei kitos aukščiausios kokybės programos, todėl testuotojai gali lengvai optimizuoti šiuos patikrinimus.
DUK ir ištekliai
1. Geriausi žvalgomojo testavimo automatizavimo kursai
Tiek naujiems, tiek patyrusiems tyrinėjimo testuotojams būtų naudingi kursai, skirti jų įgūdžiams tobulinti. Taip pat reikia išsiaiškinti, kaip naudotis nauja programine įranga.
Naudingi kursai, kurie gali padėti tai padaryti:
– „Udemy’s Complete 2023 Software Testing Bootcamp”; čia mokoma plačios programinės įrangos testavimo per 28 valandas.
– „Coveros” tiriamasis testavimas; čia daugiausia dėmesio skiriama tam, kaip kurti chartijas ir taikyti tiriamuosius testus API.
– „Polteq” dviejų dienų žvalgomojo testavimo mokymai; juose nagrinėjama, kaip žvalgomieji testai veikia „Agile” kontekste.
– „LinkedIn” žvalgomasis testavimas; čia parodoma, kaip šiuolaikinis programinės įrangos testavimas apima žvalgomuosius patikrinimus.
– „Coursera” įvadas į programinės įrangos testavimą; tai padeda pirmą kartą testuojantiems asmenims suprasti tipines procedūras.
2. Kokie yra 5 svarbiausi interviu klausimai apie žvalgomąjį testavimą?
Atliekant pokalbius dėl tiriamojo testavimo pareigų, svarbu, kad įdarbinimo vadovai užduotų gerus klausimus, kad tiksliai įvertintų kandidato įgūdžius ir patirtį.
Penki svarbiausi klausimai, kuriuos reikia užduoti:
– Kokie yra pagrindiniai skirtumai tarp scenarijaus ir žvalgomojo testavimo, įskaitant jų tinkamumą?
– Su kokiais iššūkiais susidūrėte kaip tiriamojo testavimo specialistas ir kaip juos įveikėte?
– Pateikite žvalgomųjų testų pavyzdžių, kuriems robotų procesų automatizavimas būtų naudingiausias.
– Koks, jūsų nuomone, yra svarbiausias tiriamojo testuotojo įgūdis (techninis ar kitoks)?
– Ką patartumėte testuotojui, kuris stengiasi suprasti programinę įrangą ir kaip ją patikrinti?
3. Geriausios „YouTube” pamokos apie žvalgomąjį testavimą
Vaizdo įrašų dalijimosi svetainėse, pavyzdžiui, „YouTube”, galima rasti daug nemokamų pamokų, kurios gali padėti būsimiems testuotojams suprasti pagrindinius principus. Kai kurie iš jų yra ciklo dalis, o kiti – atskiri vaizdo įrašai, kuriuose gilinamasi į temą.
Šias pamokas siūlo šie kanalai:
– „Testavimo akademijoje” pateikiama šimtai vaizdo įrašų, kuriuose aptariami visi programinės įrangos testavimo aspektai.
– „Software Testing Mentor”, kurioje taip pat pateikiama daug vaizdo įrašų apie programinės įrangos testavimo pagrindus.
– „QAFox”, kuri taip pat pateikia realaus pasaulio pavyzdžių ir gyvų projektų, papildančių visus jų vaizdo įrašus.
– „SDET-QA Automation Techie”, kurioje yra keletas išsamių vaizdo įrašų apie įvairius testavimo metodus.
– „GlitchITSystem”, kuri nagrinėja įvairias svetaines, atlikdama žvalgomuosius bandymus ir bandydama aptikti trikdžius.
4. Kaip atlikti žvalgomuosius testus?
Gerai atlikti tiriamieji testai apima išsamią dokumentaciją, į kurią kūrėjai ir būsimi testuotojai gali grįžti, kai bus kuriamos naujesnės programinės įrangos iteracijos.
Kai programa reikšmingai atnaujinama, būtina iš naujo išbandyti jos pagrindines funkcijas, kad būtų užtikrinta, jog šie papildymai neturės neigiamo poveikio anksčiau egzistavusioms funkcijoms.
Tik taip galima užtikrinti, kad žvalgomieji bandymai bus sėkmingi ilgą laiką. Be to, kuriant pirminę programą ir jos patikras, galima atsižvelgti į ateities planus, pvz., preliminarias funkcijas.
QA darbuotojai turi tinkamai suplanuoti šiuos bandymus ir nustatyti, kada reikia pakartotinai patikrinti programą; tai padaryti komandai gali padėti automatinio testavimo įrankiai.
5. Ar žvalgomasis testavimas yra juodosios dėžės testavimas?
Žvalgomasis testavimas labai panašus į „juodosios dėžės” testavimą, kai tikrinamos programos funkcijos, tiesiogiai netikrinant kodo.
Nėra aiškių apribojimų, kokių tipų patikrinimai priskiriami tiriamajam testavimui; šis metodas gali apimti kiekvieną programinės įrangos aspektą, įskaitant kodą.
Vienas iš pagrindinių šių dviejų testavimo tipų panašumų yra tai, kad testuotojas neturi išankstinių žinių. „Juodosios dėžės” testuotojai paprastai nėra susipažinę su programine įranga prieš pradėdami ją testuoti, o žvalgomieji testuotojai, atlikdami pirminį tyrimą, sužino, kaip veikia programinė įranga.
Nors tiriamasis testavimas apskritai ne visada priskiriamas „juodosios dėžės” testavimui, tiesa, kad šie du metodai yra labai panašūs.
