Testování Extract Transform Load – nejčastěji označované jako testování ETL – je klíčovým nástrojem ve světě moderní business intelligence a datové analytiky.
Týmy musí shromažďovat data z různých zdrojů, aby je mohly ukládat do datových skladů nebo je připravit pro nástroje business intelligence, které jim pomohou při kvalitním rozhodování nebo získávání informací. Testování ETL pomáhá zajistit, aby procesy, data a poznatky byly v pořádku a připravené na podporu podnikání.
Prozkoumejme, co je to testování Extract Transform Load a jak funguje, a poté se podělme o různé přístupy a nástroje, které můžete pro testování ETL použít.
Co je Extract-Transform-Load,
a jak to funguje?
Extrakce, transformace a načítání (ETL) je klíčovým konceptem v oblasti datových skladů a analytiky. ETL v podstatě popisuje proces shromažďování dat z různých zdrojů a jejich soustředění do datového skladu nebo datového jezera.
Pojďme si proces ETL rozdělit na jednotlivé části, abyste mu lépe porozuměli.
1. Výpis:
Údaje jsou získávány z různých zdrojů. Těmito zdroji mohou být stávající databáze, aplikace ERP nebo CRM, tabulky, webové služby nebo různé soubory.
2. Transformace:
Po získání dat je třeba je transformovat tak, aby byla vhodná pro uložení nebo analýzu. Tento proces může zahrnovat čištění a normalizaci dat a jejich převod do vhodného formátu.
3. Zatížení:
Poslední část procesu spočívá v načtení dat do cílového systému. Tímto cílovým systémem může být datový sklad, datové jezero nebo jiné úložiště.
Ačkoli ETL existuje již od 70. let 20. století, v poslední době nabývá na významu v důsledku většího spoléhání se podnikatelských komunit na cloudové systémy, data v reálném čase, analytiku a nástroje ML/AI.
Co je testování ETL?
Testování ETL je typem testování zpracování dat, které ověřuje, zda data získaná z jednoho zdroje byla správně přenesena na místo určení. Jak se dočtete výše, po získání dat je třeba je transformovat podle obchodních požadavků. Tato transformace může občas vést k problémům s daty. Testování ETL pomáhá zajistit spolehlivost a přesnost dat.
Testování ETL je druh testování černé skříňky, protože ověřuje proces výměny, transformace a načítání porovnáním vstupů s výstupy. Ve skutečnosti se zaměřuje na to, co systém dělá v reakci na různé vstupy, a nikoli na to, jak těchto výsledků dosahuje. V určitých situacích se však testeři podívají na to, co se děje uvnitř krabice, zejména když se vyskytnou neočekávané scénáře.
Jak se transformuje extrakt
testování zátěže?
Nejjednodušší způsob, jak vysvětlit, jak testování ETL funguje, je rozdělit ho na jednotlivé části: extrakci, transformaci a načítání. Odtud můžete pochopit různé prvky validace ETL, než si jednotlivé fáze rozdělíme podrobněji.
1. Výpis
Testování ETL ověřuje, zda jsou data získaná ze zdroje přesná a bezchybná. Tento proces zahrnuje kontrolu správnosti základních hodnot a zajištění úplnosti údajů.
Další část procesu zahrnuje profilování dat. Tento proces účinně spočívá v pochopení struktury, obsahu a kvality zdrojových dat. Jde o to, abyste mohli odhalit případné anomálie, nesrovnalosti nebo potenciální problémy s mapováním.
2. Transformace
V další části procesu se zkoumá přísné dodržování pravidel transformace dat. Jedním z hlavních přístupů je testování transformační logiky s ohledem na předpisy, zákony a další obchodní pravidla.
Mezi typické testy patří kontrola konverze dat do očekávaných formátů, přesnosti výpočtů a ověření, zda vyhledávání propojuje prvky mezi datovými sadami.
V úvahu přichází také kvalita dat. Testeři musí najít a odstranit nekonzistence a duplicity ve formátování a vyřešit všechny konfliktní údaje při použití procesů čištění dat.
Nakonec se testuje také celkový výkon, aby se zjistilo, jak proces ETL ovlivňují velké objemy dat.
3. Zatížení
Nakonec, když jsou data vložena do datového skladu, datového jezera nebo jiného konečného cíle, musí testeři ověřit, zda jsou úplná, přesná a prezentovaná ve správném formátu.
Porovnáváním se zkontroluje, zda nedošlo ke ztrátě nebo poškození dat na cestě mezi zdrojem, oblastí ukládání a cíli.
Nakonec se kontrolují auditní záznamy, aby se zjistilo, zda proces sleduje všechny změny, ke kterým dojde během procesu ETL, a zda jsou přítomny historie a metadata.
Tato část by vám měla poskytnout základní přehled o tom, jak se provádějí kontroly kvality dat ETL. Všimněte si, že testy probíhají v každé fázi přenosu dat, protože je to nejlepší způsob, jak identifikovat a vyřešit konkrétní problémy.
Pro hlubší pochopení koncepce testování ETL je však třeba prozkoumat různé typy testování ETL a fáze, ve kterých se používají. Následující dvě části vám tyto informace poskytnou a pomohou vám získat kompletní obraz, který potřebujete.
Různé typy testování ETL
Při testování ETL existuje mnoho různých typů validace. Používají se v různých scénářích a k různým účelům. Prozkoumejme typy testování ETL a to, kde a kdy byste je měli použít.
1. Testování validace zdrojových dat
Důležitost:
Testování validace zdrojových dat zajišťuje, že zdrojová data jsou kvalitní a konzistentní před jejich extrakcí pro transformaci.
Co kontroluje:
- Jsou data v souladu s obchodními pravidly?
- Odpovídají typy a formáty dat očekáváním?
- Spadají data do platných rozsahů?
- Vyskytují se na neočekávaných místech nulové nebo chybějící hodnoty?
2. Testování sladění zdrojových a cílových dat
Důležitost:
Tento typ testování ověřuje, zda jsou všechna data z určitého zdroje extrahována, transformována a načtena do cílového systému.
Co kontroluje:
- Došlo během procesu ETL ke ztrátě dat?
- Byla data během procesu ETL duplikována?
3. Testování transformace dat
Důležitost:
Transformace dat mohou zahrnovat mnoho různých věcí, například změny formátu, výpočty, agregace atd. Testování transformace dat kontroluje, zda transformace proběhly tak, jak bylo zamýšleno.
Co kontroluje:
- Jsou data po transformaci v souladu s očekáváním?
- Byla obchodní logika při transformacích implementována správně?
- Poskytly výpočty provedené během transformace správný výstup?
4. Testování validace dat
Důležitost:
Testuje, zda výsledná data po transformaci odpovídají obchodním požadavkům.
Co kontroluje:
- Jsou dodržovány standardy kvality dat (tj. přesnost, úplnost)?
- Jsou dodržována obchodní pravidla?
5. Testování referenční integrity ETL
Důležitost:
Ověřuje, zda vztahy mezi tabulkami ve zdrojových datech byly věrně reprodukovány v cílových datech.
Co kontroluje:
- Odpovídají cizí klíče v datech odpovídajícím primárním klíčům?
- Jsou po ETL zachovány vztahy mezi podřízenými a nadřízenými tabulkami?
6. Integrační testování
Důležitost:
Integrační testy ověřují, zda se proces ETL integruje a funguje v rámci širšího datového ekosystému.
Co kontroluje:
- Fungují plynulé datové toky mezi koncovými uživateli?
- Jak dobře spolupracuje proces ETL s ostatními systémy, jako je zdrojový, cílový nebo jiné navazující aplikace, které se spoléhají na data?
7. Testování výkonu
Důležitost:
Testování výkonnosti ETL hodnotí, jak efektivní je proces ETL, když je vystaven zátěži, například velkému zatížení.
Co kontroluje:
- Splňuje doba zpracování ETL obchodní požadavky nebo referenční hodnoty?
- Lze proces ETL škálovat v závislosti na rostoucím objemu dat?
- Má proces ETL nějaká omezení zdrojů nebo úzká místa, která je třeba řešit?
8. Funkční testování
Důležitost:
Funkční testování ověřuje, zda proces ETL splňuje požadavky projektu z pohledu uživatele.
Co kontroluje:
- Odpovídají výstupy stanoveným obchodním požadavkům?
- Generují zprávy přesné výsledky?
- Zobrazují řídicí panely očekávaná data?
9. Regresní testování
Důležitost:
Procesy ETL jsou velmi složité a obsahují velké množství vzájemně propojených dat. I malé změny v procesu mohou ovlivnit výstup u zdroje. Regresní testování má zásadní význam pro identifikaci těchto neočekávaných výsledků.
Co kontroluje:
- Způsobují změny v kódu nebo základních datech náhlé nepříznivé účinky?
- Měly změny požadovaný účinek na zlepšení procesu ETL?
Stojí za zmínku, že bychom do tohoto seznamu mohli zahrnout i testování jednotek. Místo toho jsme však zahrnuli složky, které by testování jednotek zahrnovalo, jako je testování validace zdroje, testování sladění zdrojových a cílových dat atd.
8 fází testování ETL s
8 odborných tipů pro úspěch
Nyní, když jste pochopili různé typy validace při testování ETL, je čas dát vše dohromady. Testování ETL se běžně provádí pomocí vícestupňového přístupu, který představíme níže.
#1. Shromažďování obchodních požadavků
První fází každého procesu testování je shromáždění požadavků. Testeři se musí shodnout na tom, co má proces ETL přinést. Některé otázky, které by měly být zodpovězeny v této rané fázi, jsou například:
- Jak budou údaje použity?
- Jaké výstupní formáty jsou požadovány?
- Jaká jsou výkonnostní očekávání?
- Jaké předpisy, zákony nebo zásady společnosti upravují používání údajů?
Tip odborníka:
Dodržování požadavků je sice nutností, ale testeři ETL by měli využívat své znalosti a zkušenosti k proaktivnímu vyhledávání potenciálních problémů, nesrovnalostí nebo chyb již v počáteční fázi procesu. Včasné odhalení a odstranění problémů je mnohem snazší a časově méně náročné.
#2. Identifikace a validace zdrojů dat
ETL je o získávání dat z různých zdrojů dat, jako jsou nástroje ERP nebo CRM, aplikace, jiné databáze, tabulky atd. Testeři musí potvrdit, že požadovaná data jsou dostupná, správně strukturovaná a dostatečně kvalitní pro zamýšlené použití.
Tip odborníka:
Zdrojová data v reálných systémech jsou obvykle chaotická. V této fázi je klíčové vypracování důkladných zpráv o profilování dat, které zajistí identifikaci chybějících hodnot, problémů s formátem, anomálií a dalších nekonzistencí, které chcete v budoucnu vynechat z transformační logiky.
#3. Psaní testovacích případů
Když máte v ruce obchodní požadavky a zprávy o profilování dat, je čas sestavit testovací případy, které potřebujete k ověření procesu ETL. Testovací případy by měly zahrnovat funkční testy, jakož i okrajové případy a všechny oblasti, u kterých jste identifikovali vysoké riziko selhání.
Tip odborníka:
Testování jednotlivých transformací je dobré, ale lepší je vytvořit testovací případy, které pochopí, jak jsou data ovlivněna při přenosu celým postupem ETL.
#4. Provádění testovacích případů
Nyní je čas použít testovací případy. Zkoušející by se měli snažit simulovat skutečné podmínky, nebo pokud je to možné, použít skutečné podmínky.
Tip odborníka:
Nástroje pro automatické testování ETL jsou zde zásadní. Schopnost vytvářet konzistentní a reprodukovatelné testy šetří obrovské množství času a úsilí. Navíc je testování ETL neustálým požadavkem, protože zdroje dat jsou aktualizovány nebo dochází ke změnám v samotném procesu ETL.
#5. Generování zpráv
Po provedení testů je třeba výsledky věrně zdokumentovat. Zaznamenejte si výsledky a uveďte:
- Úspěchy
- Selhání
- Odchylky od očekávání
- Jaké opravy nebo změny je třeba provést
Tyto zprávy vám umožní mnohem víc než jen potvrdit stav systému. Poskytnou vám také harmonogram všech oprav, které je třeba provést, a zároveň poskytnou důležité informace potřebné k optimalizaci procesu ETL.
Tip odborníka:
Zprávy jsou určeny všem, včetně netechnických zainteresovaných stran. Snažte se omezit žargon a příliš technické pojmy a k vysvětlení procesu používejte vizuální shrnutí, jako jsou grafy, tabulky a další.
#6. Opakované testování chyb a nedostatků
Dále je třeba zkontrolovat, zda byly vyřešeny chyby a nedostatky zjištěné při provádění testů. Kromě toho byste měli potvrdit, že změny provedené během tohoto procesu nevyvolaly nové problémy.
Tip odborníka:
Regresní testování je v této fázi klíčové, protože proces ETL je složitý a vzájemně propojený. Jedna oprava může mít za následek nezamýšlené a zcela neočekávané důsledky v celém procesu ETL.
#7. Závěrečné zprávy
Závěrečné zprávy poskytují podrobné shrnutí procesu testování ETL. Zdůrazněte oblasti úspěchu a oblasti, které vyžadují další práci. Nakonec vydejte celkový verdikt o kvalitě a spolehlivosti dat ETL.
Tip odborníka:
Vaše závěrečná zpráva není jen záznamem. Dobře napsané a dobře strukturované testovací zprávy se stanou součástí produkční dokumentace a pomohou zajistit neustálé zlepšování a optimalizaci procesu ETL.
#8. Uzavírání zpráv
Jakmile jsou zprávy doručeny a pochopeny různými zainteresovanými stranami, musí být formálně přijaty. Zprávy by měly obsahovat jasný plán pro všechny položky, které je třeba vyřešit, nebo další opatření, která je třeba přijmout.
Tip odborníka:
Uzavření sestav je sice výrazným znamením, že proces ETL dosáhl přijatelné úrovně, ale je třeba si uvědomit, že tato práce není nikdy skutečně dokončena. Neustálé zlepšování a reakce na změny zdrojových dat, hardwaru nebo dokonce vyvíjejících se obchodních pravidel znamenají, že jakákoli akceptace je jen milníkem v probíhajícím procesu.
Výpis transformovat testování zátěže
Komplexní proces testování ETL je nezbytný pro týmy a produkty, které se spoléhají na analýzu dat. Podívejme se na výhody, které můžete získat, když se rozhodnete pro testování ETL.
1. Přesnost a integrita dat
Základním konceptem validace ETL je zajištění čistých a spolehlivých dat do datového skladu. Správný přístup k testování ETL znamená:
- Během extrakce nepřijdete o data
- Vaše transformace neobsahují chyby
- Data se do cílového systému dostanou tak, jak jste zamýšleli.
2. Úspora času a peněz
Testování ETL datového skladu je důležité, protože včas odhalí chyby. Je mnohem žádoucí identifikovat a odstranit problémy s daty včas, než je řešit, když už kůň utekl ze stáje. Podle společnosti Gartner stojí nekvalitní data týmy v průměru 13 milionů dolarů ročně. Začněte s testováním ETL včas a ušetříte čas i peníze.
3. Výkonnost
Špatné procesy ETL mohou brzdit vaše datové systémy a snižovat kvalitu vašich analýz, reportování a rozhodování. Dobrý proces testování ETL vám pomůže udržet se na správné cestě tím, že identifikuje úzká místa v datech a další oblasti, které je třeba zlepšit.
4. Dodržování předpisů
Pro finanční instituce a poskytovatele zdravotní péče platí přísná pravidla správy dat. Nesprávné zacházení s daty a jejich správa mohou vést k odebrání licence nebo k vysokým pokutám. Testování ETL vám pomůže zajistit, abyste dodrželi předpisy a chránili citlivé informace.
5. Lepší rozhodování
Čím přesnější a spolehlivější jsou vaše data, tím jistější si můžete být při rozhodování založeném na datech. Testování ETL zajišťuje, že se můžete spolehnout na to, že obsah vašeho datového skladu vám poskytne informace, které potřebujete ke správným krokům.
Problémy spojené s testováním ETL
Zajištění dobrého stavu datového potrubí je zásadní, ale je spojeno s některými složitostmi. Prozkoumejme výzvy spojené s důkladnou kontrolou kvality dat ETL.
1. Objem a složitost dat
Dobrý proces testování ETL znamená práci s velkými objemy různých typů dat, od strukturovaných po nestrukturované. Tato různorodost dat se může rychle stát složitou a obtížně spravovatelnou.
2. Závislost na zdrojovém systému
Jak jsme již uvedli výše, testování ETL spočívá v zajištění bezproblémového průběhu mezi zdroji a cíli. Kvalita výstupu je však do značné míry závislá na kvalitě vstupu. Změny ve zdrojovém výstupním schématu, formátu nebo kvalitě mohou způsobit selhání testů ETL, které není vždy snadné diagnostikovat.
3. Složitost transformace
Vytváření logiky pro transformace dat je odborná záležitost. Použití obchodních pravidel a čištění nebo přeformátování dat je složité a ověření kvality těchto transformací není vždy snadné.
4. Posouvání požadavků
Všichni testeři znají bolest z rychle se vyvíjejících obchodních požadavků. Proces ETL je dynamický prostor a stejně tak i testování ETL. S aktualizací a změnami obchodních rolí musí testeři přizpůsobovat testovací případy a zajišťovat optimalizaci výkonu databáze.
5. Omezení testovacího prostředí
Provozování plnohodnotného produkčního prostředí pro testování ETL je složité a nákladné. Testovací prostředí menšího rozsahu však ne vždy poskytují skutečnou validaci, protože nekopírují způsob, jakým může manipulace s obrovskými objemy dat vést k výkonnostním problémům.
Tipy a osvědčené postupy ETL
Zvládnutí testování ETL vyžaduje čas. Zde je několik tipů, které vám pomohou na vaší cestě.
#1. Průběžné testování
Testování ETL není jednorázová záležitost. Je to výhled na zajištění kvalitní datové základny, který je třeba provádět a průběžně sledovat. Ve firmách, které se spoléhají na nástroje business intelligence, je tester ETL QA zaměstnán na plný úvazek z určitého důvodu.
#2. Žádný tester ETL není ostrov
Zatímco testování ETL probíhá na principu „černé skříňky“, inženýři zajišťující kvalitu ETL by měli spolupracovat se zúčastněnými stranami, správci databází a vývojáři, kteří vytvářejí logiku ETL, pokud chtějí navrhnout smysluplné testy, které skutečně ověří proces ETL.
#3. Pevná dokumentace je velmi důležitá.
Řádná a podrobná dokumentace, včetně mapování mezi zdroji a cíli a záznamů o původu dat, je zásadní pro určení, kde se v datovém potrubí objevily chyby.
#4. Co nejvíce automatizovat
To je možná nejdůležitější bod. Komplexní testování ETL je náročné na zdroje. Jedná se také o průběžný proces, což znamená, že vyžaduje mnoho ručního úsilí v pravidelných intervalech. Testování ETL je proto ideální úlohou pro software pro automatizaci testování a nástroje RPA.
Nejlepší nástroje pro automatizaci testování ETL
Nyní by již mělo být jasné, že automatické testování ETL představuje pro testovací týmy významnou výhodu, pokud jde o maximální využití zdrojů.
Naštěstí je na trhu několik kvalitních nástrojů pro testování ETL. Každý nástroj má své klady a zápory, vlastnosti a funkce, které vyhovují různým požadavkům.
Výběr správného nástroje závisí na několika různých faktorech, mezi které patří:
- Složitost procesu ETL a obchodní logiky
- Objem přenášených dat
- Přítomnost nebo koncentrace nestrukturovaných dat v procesu ETL
- Technické schopnosti a dovednosti vašich testerů
- Váš rozpočet.
Podívejme se na 5 nejlepších nástrojů pro testování ETL.
#5. QuerySurge
QuerySurge je testovací nástroj ETL založený na předplatném s důrazem na průběžné testování. Podporuje kombinace zdrojových a cílových databází, nabízí rozsáhlé možnosti automatizace a je vytvořen pro potřeby rozsáhlých a komplexních datových skladů.
Uživatelské rozhraní je příjemné na ovládání a jeho možnosti reportování jsou vynikající. Někteří uživatelé si však stěžují na drahé a nepřehledné ceny QuerySurge, zatímco jiní kritizují jeho nedostatečnou uživatelskou přívětivost a strmou křivku učení pro nezkušené uživatele.
#4. iCEDQ
iCEDQ je nástroj pro testování a sledování kvality dat. Nabízí testování založené na pravidlech a zajímavou detekci chyb pomocí ML. Sledování, reportování a vizualizace jsou pro iCEDQ obzvláště silnými stránkami, což z něj činí vhodný nástroj pro firmy s kritickými potřebami v oblasti dodržování dat a regulací.
Přesto je implementace nástroje do složitých prostředí ETL jednou z nejvýznamnějších nevýhod iCEDQ. Kromě toho je uživatelské rozhraní poměrně složité a nebude vyhovovat méně technickým týmům.
#3. RightData
RightData je uživatelsky přívětivý nástroj, který se může pochlubit rozsáhlými možnostmi testování ETL i validace dat bez použití kódu. Nástroj je velmi flexibilní a funguje v různých databázích a cloudových datových skladech. Díky řadě předpřipravených šablon testů, vynikajícím možnostem vizualizace a bezproblémové integraci s nástroji pro pracovní postupy je jasné, proč si RightData v posledních letech získala oblibu.
Přestože má RightData mnoho žádoucích vlastností, může být nákladná, pokud potřebujete testovat velké množství procesů ETL. Ačkoli se jedná o předplatné, ceny se mohou rychle zvyšovat při vysokém využití dat a dalších funkcí. Ve srovnání s předvídatelným modelem paušálních cen a neomezenými licencemi společnosti ZAPTEST se zdá, že přístup společnosti RightData znevýhodňuje rostoucí nebo rozšiřující se společnosti.
#2. BiG EVAL
BiG EVAL je skvělou volbou pro komplexní systémy ETL a starší implementace skladů. Používá validaci dat na základě pravidel a má výkonné funkce profilování dat, což z něj činí dobrou volbu pro testování ETL. BiG EVAL také poskytuje uživatelům skvělé možnosti automatizace pro navrhování a plánování testů a v kombinaci s vynikajícími možnostmi reportování a vizualizace se řadí mezi nejkomplexnější nástroje pro testování ETL.
Implementace systému BiG EVAL je však ještě větší práce. Ve srovnání s nástroji bez kódu, jako je ZAPTEST, může rozhraní působit trochu staromódně. Je důležité poznamenat, že testování ETL je pouze jedním z případů použití nástroje BiG EVAL, takže jeho cena založená na licenci může být pro některé týmy neúnosná, pokud platíte za funkce a vlastnosti, které nezbytně nepotřebujete.
#1. ZAPTEST: Volba číslo 1 pro testování ETL
ZAPTEST sice není specializovaný nástroj pro testování ETL, ale nabízí flexibilitu a škálovatelnost, které pomáhají s několika úkoly, z nichž se skládá důkladné testování ETL.
Jak je patrné z výše uvedené části Různé typy testování ETL, testování procesu ETL vyžaduje ověření dat, integraci, výkonnost, funkčnost a regresní testování. ZAPTEST toto všechno a ještě více umí. Naše nástroje End-to-End Testing a Metadata Testing jsou klíčovými funkcemi, které zajišťují, že vaše analytika a business intelligence jsou v pořádku a připraveny poskytovat výsledky a hodnotu.
ZAPTEST je také vybaven jedním z nejlepších nástrojů RPA na trhu. V kontextu testování ETL může RPA přinést velkou hodnotu, protože generuje realistická testovací data, automatizuje opakující se manuální úlohy a pomáhá vám zavést průběžné testování, které potřebujete pro spolehlivý proces ETL.
Díky tomu, že ZAPTET nepotřebuje žádný kód, bleskově vytváří testy a je bezproblémově integrován s dalšími podnikovými nástroji, představuje komplexní řešení pro automatizované testování ETL a mnoho dalšího.
Závěrečné myšlenky
Testování zátěže transformace extraktu je jako zřízení oddělení kontroly kvality pro váš datový sklad. Nejde jen o to, zda byla data přenesena ze zdroje do cíle, ale také o to, zda byla přenesena neporušená a v souladu s očekáváním.
Pokud máte špatné údaje, budete se v kritické situaci rozhodovat špatně. Správné testování ETL je investicí do integrity celého datového ekosystému. Pro mnoho podniků je však čas a náklady spojené s testováním ETL něco, co si nemohou dovolit.
Automatizace testování ETL vám pomůže testovat rychleji a efektivněji a zároveň dlouhodobě ušetřit peníze. Zvýšení pokrytí testů a možností regresního testování může pomoci zvýšit integritu dat, protože můžete testovat mnohem častěji, než kdybyste zůstali u manuálního testování.
Použití nástrojů pro automatické testování ETL navíc snižuje počet lidských chyb a uvolňuje testerům místo pro kreativnější úkoly nebo úkoly zaměřené na hodnotu. Přijetí nástrojů pro automatizaci testování a RPA, jako je ZAPTEST, je jedním z rozhodnutí, které nebudete muset provádět prostřednictvím nástrojů business intelligence.
