etl testing data warehouse testing tutorial
Proces a výzvy ETL testování / datového skladu:
Dnes mi dovolte chvilku vysvětlit své testovací bratrství ohledně jedné z velmi žádaných a nadcházejících dovedností pro mé přátele testerů, tj. Testování ETL (Extract, Transform a Load).
Tento tutoriál vám představí kompletní představu o testování ETL a o tom, co děláme pro testování procesu ETL.
Kompletní výukové seznamy v této sérii:
- Výukový program č. 1 : Úvodní příručka pro testování datových skladů ETL
- Výukový program č. 2 : Testování ETL pomocí nástroje Informatica PowerCenter
- Výukový program č. 3 : Testování ETL vs. DB
- Výukový program č. 4 : Testování Business Intelligence (BI): Jak testovat obchodní data
- Výukový program č. 5 : Top 10 ETL Testing Tools
Bylo pozorováno, že nezávislé ověřování a ověřování získává obrovský tržní potenciál a mnoho společností to nyní považuje za potenciální obchodní zisk.
Zákazníkům byla nabídnuta různá škála produktů, pokud jde o nabídky služeb, distribuované v mnoha oblastech na základě technologie, procesu a řešení. ETL nebo datový sklad je jednou z nabídek, které se rychle a úspěšně rozvíjejí.
Prostřednictvím procesu ETL se data načítají ze zdrojových systémů, transformují se podle obchodních pravidel a nakonec se načtou do cílového systému (datového skladu). Datový sklad je celopodnikový obchod, který obsahuje integrovaná data, která pomáhají v procesu rozhodování v podnikání. Je součástí business inteligence.
Co se naučíte:
- Proč organizace potřebují Data Warehouse?
- Proces ETL
- Techniky testování ETL
- Proces testování ETL / datového skladu
- Rozdíl mezi testováním databáze a datového skladu
- Výzvy pro testování ETL
- Doporučené čtení
Proč organizace potřebují Data Warehouse?
Organizace s organizovanými postupy v oblasti IT se těší na vytvoření další úrovně technologické transformace. Nyní se snaží zajistit, aby byli mnohem funkčnější díky snadno interoperabilním datům.
Jak již bylo řečeno, data jsou nejdůležitější součástí každé organizace, mohou to být každodenní data nebo historická data. Data jsou páteří každé zprávy a zprávy jsou základem, na kterém jsou přijímána všechna důležitá rozhodnutí managementu.
Většina společností podniká krok vpřed při budování svého datového skladu pro ukládání a monitorování dat v reálném čase i historických dat. Vytvoření efektivního datového skladu není snadná práce. Mnoho organizací distribuovalo oddělení s různými aplikacemi běžícími na distribuované technologii.
Nástroj ETL se používá k zajištění bezchybné integrace mezi různými zdroji dat z různých oddělení. Nástroj ETL bude fungovat jako integrátor, který bude získávat data z různých zdrojů; transformace do upřednostňovaného formátu založeného na pravidlech obchodní transformace a jeho načtení do soudržné databáze DB jsou známé Data Warehouse.
Dobře naplánovaný, dobře definovaný a efektivní rozsah testování zaručuje plynulý převod projektu do výroby. Podnikání získá skutečný vztlak, jakmile budou procesy ETL ověřeny a ověřeny nezávislou skupinou odborníků, aby se ujistil, že datový sklad je konkrétní a robustní.
Testování ETL nebo datového skladu je kategorizováno do čtyř různých zakázek bez ohledu na použitou technologii nebo nástroje ETL:
- Nové testování datového skladu - Nový DW je sestaven a ověřen od nuly. Zadávání dat je převzato z požadavků zákazníků a různých zdrojů dat a je vytvořen a ověřen nový datový sklad pomocí nástrojů ETL.
- Testování migrace - V tomto typu projektu bude mít zákazník existující DW a ETL vykonávající práci, ale hledá nový nástroj pro zvýšení efektivity.
- Změnit požadavek - V tomto typu projektu se do existujícího DW přidávají nová data z různých zdrojů. Může také nastat podmínka, kdy zákazník potřebuje změnit své stávající obchodní pravidlo nebo může integrovat nové pravidlo.
- Testování zpráv - Zpráva je konečným výsledkem jakéhokoli datového skladu a základním návrhem, pro který DW staví. Zpráva musí být testována ověřením rozložení, dat ve zprávě a výpočtu.
Proces ETL
( Poznámka : Klikněte na obrázek pro zvětšení)
Techniky testování ETL
1) Testování transformace dat : Ověřte, zda jsou data správně transformována podle různých obchodních požadavků a pravidel.
2) Testování počtu zdrojů od cíle : Ujistěte se, že počet záznamů načtených v cíli odpovídá očekávanému počtu.
3) Testování dat od zdroje k cíli : Ujistěte se, že všechna projektovaná data jsou načtena do datového skladu bez ztráty a zkrácení dat.
4) Testování kvality dat : Ujistěte se, že aplikace ETL vhodně odmítá, nahrazuje výchozími hodnotami a hlásí neplatná data.
5) Testování výkonu : Ujistěte se, že jsou data načtena do datového skladu v předepsaných a očekávaných časových rámcích, abyste potvrdili zlepšený výkon a škálovatelnost.
jak otevřít torrent soubory na mac
6) Testování ověření výroby: Ověřte data v produkčním systému a porovnejte je se zdrojovými daty.
7) Testování integrace dat : Ujistěte se, že data z různých zdrojů byla do cílového systému načtena správně a jsou zkontrolovány všechny prahové hodnoty.
8) Testování migrace aplikací : V tomto testování je zajištěno, že aplikace ETL funguje dobře při přechodu na nový box nebo platformu.
9) Kontrola dat a omezení : V tomto případě jsou testovány datový typ, délka, index, omezení atd.
10) Kontrola duplicitních dat : Otestujte, zda v cílových systémech nejsou duplicitní data. Duplicitní data mohou vést k nesprávným analytickým zprávám.
Kromě výše uvedených testovacích metod ETL se také provádějí další testovací metody, jako je testování integrace systému, testování přijatelnosti uživatele, přírůstkové testování, regresní testování, opakované testování a navigační testování, aby bylo zajištěno, že vše bude plynulé a spolehlivé.
ETL / Datový sklad Proces testování
Podobně jako jakékoli jiné testování, které spadá pod nezávislé ověřování a ověřování, prochází ETL také stejnou fází.
- Porozumění požadavku
- Ověřování
- Odhad testu na základě řady tabulek, složitosti pravidel, objemu dat a výkonu úlohy.
- Plánování testu na základě vstupů z odhadu testu a obchodních požadavků. Zde musíme identifikovat, co je v rozsahu a co mimo rozsah. V této fázi také dáváme pozor na závislosti, rizika a plány zmírnění.
- Navrhování testovacích případů a testovací scénáře ze všech dostupných vstupů. Musíme také navrhnout mapovací dokument a skripty SQL.
- Jakmile jsou všechny testovací případy připraveny a schváleny, testovací tým provede kontrolu před provedením a příprava zkušebních dat pro testování
- Nakonec se provedení provede, dokud nejsou splněna kritéria pro ukončení. Fáze provádění tedy zahrnuje spouštění úloh ETL, monitorování běhů úloh, provádění skriptů SQL, protokolování defektů, opakované testování defektů a regresní testování.
- Po úspěšném dokončení je připravena souhrnná zpráva a je dokončen proces uzavření. V této fázi je uděleno odhlášení k povýšení úlohy nebo kódu do další fáze.
První dvě fáze, tj. Porozumění požadavku a ověření, lze považovat za předběžné kroky procesu testování ETL.
Hlavní proces lze tedy znázornit níže:
Je nutné definovat strategii testování, která by měla být vzájemně akceptována zúčastněnými stranami před zahájením skutečného testování. Dobře definovaná testovací strategie zajistí, že byl dodržen správný přístup splňující testovací aspiraci.
Testování ETL / Data Warehouse může vyžadovat rozsáhlé psaní příkazů SQL testovacím týmem nebo přizpůsobení SQL poskytovaného vývojovým týmem. V každém případě si musí testovací tým být vědom výsledků, které se snaží získat pomocí těchto příkazů SQL.
Rozdíl mezi testováním databáze a datového skladu
Tam je populární nedorozumění, že testování databáze a datový sklad je podobný, i když faktem je, že oba mají v testování odlišný směr.
- Testování databází se provádí pomocí menšího rozsahu dat běžně s typem databází OLTP (online zpracování transakcí), zatímco testování datového skladu se provádí s velkým objemem s daty zahrnujícími databáze OLAP (online analytické zpracování).
- Při testování databáze jsou data konzistentně vkládána z jednotných zdrojů, zatímco při testování datového skladu pochází většina dat z různých druhů zdrojů dat, které jsou postupně nekonzistentní.
- Obecně provádíme jedinou CRUD (vytváření, čtení, aktualizace a mazání) operace v testování databáze, zatímco v testování datového skladu používáme operaci jen pro čtení (výběr).
- Normalizované databáze se používají při testování databáze, zatímco demoralizovaná databáze se používá při testování datových skladů.
Existuje mnoho univerzálních ověření, která je třeba provést pro jakýkoli druh testování datového skladu.
Níže je uveden seznam objektů, které jsou při tomto testování považovány za nezbytné pro ověření:
- Ověřte, že transformace dat ze zdroje do cíle funguje podle očekávání
- Ověřte, zda jsou do cílového systému přidána očekávaná data
- Ověřte, že jsou všechna pole DB a data polí načtena bez jakéhokoli zkrácení
- Ověřte kontrolní součet dat pro shodu počtu záznamů
- Ověřte, že pro odmítnutá data jsou generovány správné chybové protokoly se všemi podrobnostmi
- Ověřte pole hodnot NULL
- Ověřte, zda nejsou načtena duplicitní data
- Ověřte integritu dat
=> Znát rozdíl mezi testováním ETL / datového skladu a testováním databáze .
Výzvy pro testování ETL
Toto testování se zcela liší od běžného testování. Při testování datového skladu jsme čelili mnoha výzvám.
Zde je několik výzev, které jsem na svém projektu zažil:
- Nekompatibilní a duplicitní data
- Ztráta dat během procesu ETL
- Nedostupnost inkluzivního testovacího lůžka
- Testeři nemají žádná oprávnění k provádění úloh ETL vlastními silami
- Objem a složitost dat jsou velmi obrovské
- Porucha v obchodním procesu a postupech
- Problémy se získáváním a vytvářením testovacích dat
- Nestabilní testovací prostředí
- Chybějící informace o obchodním toku
Data jsou pro podniky důležitá pro přijímání důležitých obchodních rozhodnutí. Testování ETL hraje významnou roli při ověřování a zajišťování přesnosti, konzistence a spolehlivosti obchodních informací. Rovněž minimalizuje riziko ztráty dat při výrobě.
Doufám, že tyto tipy pomohou zajistit, aby byl váš proces ETL přesný a vybudování datového skladu tímto způsobem představuje pro vaše podnikání konkurenční výhodu.
Kompletní seznam výukových programů pro testování ETL:
- Výukový program č. 1 : Úvodní příručka pro testování datových skladů ETL
- Výukový program č. 2 : Testování ETL pomocí nástroje Informatica PowerCenter
- Výukový program č. 3 : Testování ETL vs. DB
- Výukový program č. 4 : Testování Business Intelligence (BI): Jak testovat obchodní data
- Výukový program č. 5 : Top 10 ETL Testing Tools
Toto je příspěvek od Vishala Chhaperie, který pracuje v MNC v roli správy testů. Má rozsáhlé zkušenosti se správou multitechnologických projektů QA, procesů a týmů.
Pracovali jste na testování ETL? Níže prosím sdílejte své tipy a výzvy k testování ETL / DW.
Doporučené čtení
- Alfa testování a beta testování (kompletní průvodce)
- ETL Testing Interview Otázky a odpovědi
- Nejlepší nástroje pro testování softwaru 2021 [QA Test Automation Tools]
- Nejlepší 10 testovacích nástrojů ETL v roce 2021
- Kompletní průvodce pro testování ověřování sestavení (testování BVT)
- Funkční testování vs. nefunkční testování
- 4 kroky k testování Business Intelligence (BI): Jak testovat obchodní data
- Testování stahování e-knih Primer