how perform etl testing using informatica powercenter tool
Je známým faktem, že ETL testování je jedním z rozhodujících aspektů každého Business Intelligence (BI) aplikace. Aby bylo zajištěno zajištění kvality a přijatelnost pro provoz v podnikání, měla by být aplikace BI předem dobře otestována.
Primárním cílem testování ETL je zajistit, aby: JE extrakt, T ransform & L oad funkčnost funguje podle obchodních požadavků a synchronizuje se s výkonovými standardy.
Než se pustíme do testování ETL s Výpočetní , je nezbytné vědět, co jsou ETL a Informatica.
Co se naučíte:
- Co se naučíte v tomto výukovém programu ETL:
- Nástroj pro testování ETL Informatica PowerCenter:
- Principy testování ETL specifické pro Informatica:
- Klasifikace testování ETL v Informatica:
- Výhody používání Informatica jako nástroje ETL:
- Několik užitečných tipů, které vám pomohou při testování ETL Informatica:
- Závěr:
- Doporučené čtení
Co se naučíte v tomto výukovém programu ETL:
- Základy testování ETL, Informatica a ETL.
- Porozumění testování ETL specifické pro Informatica.
- Klasifikace testování ETL v Informatice.
- Ukázkové testovací případy pro testování ETL Informatica.
- Výhody používání Informatica jako Nástroj ETL .
- Tipy a triky, které vám pomohou při testování.
Ve výpočtech Extract, Transform, Load (ETL) označuje proces v používání databáze a zejména v datovém skladu, který provádí:
- Extrakce dat - Extrahuje data z homogenních nebo heterogenních zdrojů dat.
- Transformace dat - Naformátuje data do požadovaného typu.
- Načtení dat - Přesuňte a uložte data na trvalé místo pro dlouhodobé použití.
Nástroj pro testování ETL Informatica PowerCenter:
Informatica PowerCenter je výkonný nástroj ETL od společnosti Informatica Corporation. Jedná se o jednotnou jednotnou platformu pro integraci podnikových dat pro přístup, objevování a integraci dat z prakticky jakéhokoli podnikového systému v jakémkoli
Jedná se o jednotnou jednotnou platformu pro integraci podnikových dat pro přístup, objevování a integraci dat z prakticky jakéhokoli podnikového systému v jakémkoli formátu a poskytování těchto dat v rámci podniku jakoukoli rychlostí. Přes Informatica PowerCenter , vytváříme pracovní toky, které provádějí operace ETL end to end.
Stáhněte a nainstalujte Informatica PowerCenter:
Chcete-li nainstalovat a nakonfigurovat Informatica PowerCenter 9.x, použijte níže uvedený odkaz, který obsahuje podrobné pokyny:
=> Průvodce instalací a konfigurací Informatica PowerCenter 9
Principy testování ETL specifické pro Informatica:
Testeři ETL mají často relevantní otázky ohledně toho, co testovat v Informatice a jaké pokrytí testem je potřeba?
Dovolte mi, abych vás provedl prohlídkou, jak provádět testování ETL specifické pro Informatica.
Hlavní aspekty, které by měly být v zásadě zahrnuty do testování ETL Informatica, jsou:
- Testování funkčnosti pracovního toku Informatica a jeho komponent; všechny transformace použité v podkladových mapováních.
- Chcete-li zkontrolovat úplnost dat (tj. Zajistit, aby se projektovaná data načítala do cíle bez jakéhokoli zkrácení a ztráty dat),
- Ověření, zda se data načítají do cíle v odhadovaných časových limitech (tj. Vyhodnocení výkonu pracovního postupu),
- Zajištění toho, aby pracovní postup neumožňoval načítání neplatných nebo nežádoucích dat do cíle.
Klasifikace testování ETL v Informatica:
Pro lepší pochopení a usnadnění testeru lze testování ETL v Informatice rozdělit na dvě hlavní části -
kde mohu sledovat anime zdarma online
# 1) Testování na vysoké úrovni
# 2) Podrobné testování
Za prvé, při testování na vysoké úrovni:
- Můžete zkontrolovat, zda je pracovní postup Informatica a související objekty platné nebo ne.
- Ověřte, zda je pracovní postup při spuštění úspěšně dokončen.
- Potvrďte, zda jsou v pracovním toku prováděny všechny požadované relace / úkoly.
- Ověřte, zda se data načítají do požadovaného cílového adresáře as očekávaným názvem souboru (v případě, že pracovní postup vytváří soubor) atd.
Stručně řečeno, můžete říci, že testování na vysoké úrovni zahrnuje všechny základní kontroly zdravého rozumu.
Příchod k další části, tj. podrobné testování v Informatica , podrobně ověříte, zda logika implementovaná v Informatice funguje očekávaným způsobem, pokud jde o její výsledky a výkon.
- Musíte provést ověření výstupních dat na úrovni pole, což potvrdí, že každá transformace funguje dobře
- Ověřte, zda se počet záznamů počítá na každé úrovni zpracování a nakonec, zda je cíl podle očekávání.
- Ve statistikách zdroj / cíl relace pečlivě sledujte prvky, jako je kvalifikátor zdroje a cíl
- Zajistěte, aby doba běhu pracovního toku Informatica byla na stejné úrovni jako odhadovaná doba běhu.
Abychom to shrnuli, můžeme říci, že podrobné testování zahrnuje důslednou end-to-end validaci pracovního toku Informatica a související tok dat.
Vezměme si příklad zde:
Máme plochý soubor, který obsahuje údaje o různých produktech. Ukládá podrobnosti, jako je název produktu, jeho popis, kategorie, datum ukončení platnosti, cena atd.
Mým požadavkem je načíst každý záznam produktu ze souboru, vygenerovat jedinečné ID produktu odpovídající každému záznamu a načíst jej do tabulky cílové databáze. Také musím potlačit ty výrobky, které patří do kategorie „C“ nebo jejichž doba použitelnosti je kratší než aktuální datum.
Řekněme, že můj plochý soubor (zdroj) vypadá takto:
(Poznámka:Kliknutím na libovolný obrázek zobrazíte zvětšené zobrazení)
Na základě mých požadavků uvedených výše by měla moje databázová tabulka (Target) vypadat takto:
Název tabulky: Tbl_Product
Prod_ID (primární klíč) | Jméno výrobku | Popis produktu | Prod_category | Prod_expiry_date | Prod_price |
---|---|---|---|---|---|
1001 | ABC | Toto je produkt ABC. | M | 14. 8. 2017 | 150 |
1002 | DEF | Toto je produkt DEF. | S | 6/6/2018 | 700 |
1003 | PQRS | Toto je produkt PQRS. | M | 23. 5. 2019 | 1500 |
Řekněme, že jsme vyvinuli pracovní tok Informatica, abychom dostali řešení pro mé požadavky ETL.
Základní mapování Informatica načte data z plochého souboru, předá data transformací směrovače, která zahodí řádky, které mají buď kategorii produktu jako „C“, nebo datum vypršení platnosti, pak použiji generování sekvence k vytvoření jedinečného primárního klíče hodnoty pro sloupec Prod_ID v tabulce produktů.
Nakonec se záznamy načtou do tabulky produktů, která je cílem mého mapování Informatica.
Příklady:
Níže jsou ukázkové testovací případy pro scénář vysvětlený výše.
Tyto testovací případy můžete použít jako šablonu ve svém testovacím projektu Informatica a přidat / odebrat podobné testovací případy v závislosti na funkčnosti vašeho pracovního postupu.
# 1) ID testovacího případu: T001
zdarma stahovač videa z YouTube na MP4
Účel testovacího případu: Ověřit pracovní postup - [název pracovního postupu]
Postup zkoušky:
- Přejít na správce pracovního postupu
- Otevřený pracovní postup
- Nabídka pracovních postupů -> klikněte na ověření
Vstupní hodnota / testovací data: Zdroje a cíle jsou dostupné a propojené
Zdroje: [název všech instancí zdroje]
Mapování: [název všech mapování]
Cíle: [název všech cílových instancí]
Session: [all sessions name]
Očekávané výsledky: Zpráva ve stavovém řádku správce pracovního postupu: „Pracovní postup [název_ pracovního postupu] je platný“
Aktuální výsledky: Zpráva ve stavovém řádku správce pracovního postupu: „Pracovní postup [název_ pracovního postupu] je platný“
Poznámky:Složit
Komentáře testeru:
# 2) ID testovacího případu: T002
Účel testovacího případu: Aby bylo zajištěno, že pracovní postup běží úspěšně
Postup zkoušky:
- Přejít na správce pracovního postupu
- Otevřený pracovní postup
- Klikněte pravým tlačítkem na návrháře pracovního postupu a vyberte Spustit pracovní postup
- Zkontrolujte stav v nástroji Workflow Monitor
Vstupní hodnota / testovací data: Stejné jako testovací data pro T001
Očekávané výsledky: Zpráva ve výstupním okně ve správci Workflow: Aktualizace úkolu: [workflow_name] (úspěšné)
Aktuální výsledky: Zpráva ve výstupním okně ve správci Workflow: Aktualizace úkolu: [workflow_name] (úspěšné)
Poznámky:Složit
Komentáře testeru: Pracovní postup byl úspěšný
Poznámka: Můžete snadno zobrazit stav běhu pracovního postupu (neúspěšný / úspěšný) na monitoru pracovního toku, jak je znázorněno v následujícím příkladu. Jakmile bude pracovní postup dokončen, stav se automaticky projeví v monitoru pracovního postupu.
Na výše uvedeném snímku obrazovky vidíte počáteční a koncový čas pracovního postupu a také stav, jak byl úspěšný.
# 3) ID testovacího případu: T003
Účel testovacího případu: Ověření, zda se požadovaný počet záznamů načítá do cíle
Postup zkoušky: Po úspěšném spuštění pracovního postupu přejděte do cílové tabulky v databázi
Zkontrolujte počet řádků v tabulce cílové databáze
Vstupní hodnota / testovací data: 5 řádků ve zdrojovém souboru
Cíl: databázová tabulka - [Tbl_Product]
Dotaz ke spuštění na serveru SQL: Vyberte počet (1) z [Tbl_Product]
Očekávané výsledky: Jsou vybrány 3 řádky
Aktuální výsledky: Jsou vybrány 3 řádky
Poznámky:Složit
Komentáře testeru:
# 4) ID testovacího případu: T004
Účel testovacího případu: Chcete-li zkontrolovat, zda generátor sekvencí v mapování Informatica funguje dobře pro naplnění [primární_klíč_sloupec_název např. Sloupec Prod_ID]
Postup zkoušky: Po úspěšném spuštění pracovního postupu přejděte do cílové tabulky v databázi
Zkontrolujte jedinečnou sekvenci vygenerovanou ve sloupci Prod_ID
Vstupní hodnota / testovací data: hodnota pro Prod_ID ponechána prázdná pro každý řádek ve zdrojovém souboru
Generátor sekvence mapovaný na sloupec Prod_ID v mapování
Počáteční hodnota generátoru sekvence byla nastavena na 1001
Cíl: databázová tabulka - [Tbl_Product] otevřená na serveru SQL Server
Očekávané výsledky: Hodnota od 1001 do 1003 vyplněna proti každému řádku pro sloupec Prod_ID
Aktuální výsledky: Hodnota od 1001 do 1003 vyplněna proti každému řádku pro sloupec Prod_ID
Poznámky:Složit
Komentáře testeru:
# 5) ID testovacího případu: T005
otázky týkající se testování softwaru s odpověďmi
Účel testovacího případu: Chcete-li ověřit, zda transformace směrovače funguje dobře k potlačení záznamů v případě, že je kategorie produktu „C“ nebo platnost produktu vypršela.
Postup zkoušky: Po úspěšném spuštění pracovního postupu přejděte do cílové tabulky v databázi
Spusťte dotaz v cílové tabulce a zkontrolujte, zda byly potlačeny požadované záznamy.
Vstupní hodnota / testovací data: 5 řádků ve zdrojovém souboru
Cíl: databázová tabulka - [Tbl_Product]
Dotaz ke spuštění na serveru SQL: Vyberte * z produktu, kde Prod_category = „C“ nebo Prod_expiry_date< sysdate ;
Očekávané výsledky: nejsou vybrány žádné řádky
Aktuální výsledky: nejsou vybrány žádné řádky
Poznámky:Složit
Komentáře testeru: (jestli nějaký)
# 6) ID testovacího případu: T006
Účel testovacího případu: Chcete-li zkontrolovat výkon pracovního postupu zaznamenáním modulu runtime pracovního postupu.
Postup zkoušky:
- Otevřete monitor pracovního postupu a spusťte běh, který byl proveden jako součást T001.
- Zaznamenejte čas zahájení a čas ukončení pracovního postupu.
- Vypočítejte celkovou dobu chodu odečtením času zahájení od času konce.
Vstupní hodnota / testovací data: Pracovní postup byl úspěšně spuštěn
Počáteční čas pracovního postupu na monitoru
Konec pracovního postupu na monitoru.
Očekávané výsledky: 2 min 30 s
Aktuální výsledky: 2 min 15 s
Poznámky:Složit
Komentáře testeru: Zvažování testu jako „vyhovující“ v případě, že skutečná doba trvání je +/- 10% očekávané doby trvání.
# 7) ID testovacího případu: T007
Účel testovacího případu: Ověření dat na úrovni sloupce cílové tabulky, aby se zajistilo, že nedojde ke ztrátě dat.
Postup zkoušky: Po úspěšném spuštění pracovního postupu přejděte na SQL Server.
Spusťte dotaz v cílové tabulce a zkontrolujte, zda nedochází ke ztrátě dat.
Vstupní hodnota / testovací data: Pracovní postup byl úspěšně spuštěn
Jeden ukázkový záznam ze zdrojového plochého souboru.
SQL dotaz: Vyberte Top 1 * z Tbl_Patient;
Očekávané výsledky:
1 řádek se vrátil
Prod_ID (primární klíč) | Jméno výrobku | Popis produktu | Prod_category | Prod_expiry_date | Prod_price |
---|---|---|---|---|---|
1001 | ABC | Toto je produkt ABC. | M | 14. 8. 2017 | 150 |
Aktuální výsledky:
1 řádek se vrátil.
Prod_ID (primární klíč) | Jméno výrobku | Popis produktu | Prod_category | Prod_expiry_date | Prod_price |
---|---|---|---|---|---|
1001 | ABC | Toto je produkt ABC. | M | 14. 8. 2017 | 150 |
Poznámky:Složit
Komentáře testeru: Zvažování testu jako „vyhovující“ v případě, že skutečná doba trvání je +/- 10% očekávané doby trvání.
Výhody používání Informatica jako nástroje ETL:
Informatica je populární a úspěšný nástroj ETL, protože:
- Má vysokou „úspěšnost“ (téměř 100%)
- Informatica má schopnost povolit Lean Integration.
- Ve srovnání s jinými nástroji ETL se jedná o nástroj se střední cenou.
- Dodává se s interním plánovačem úloh. Není tedy nutné používat plánovač třetích stran samostatně, jako to dělají některé jiné nástroje ETL.
- Díky snadnému zaškolení a dostupnosti nástrojů je Informatica oblíbenější.
Několik užitečných tipů, které vám pomohou při testování ETL Informatica:
- Před provedením testovacích scénářů vygenerujte testovací data.
- Data testu by měla být synchronizována s testovacím případem, pro který se používá.
- Ujistěte se, že jste pokryli všechny 3 scénáře - žádná data se nezadávají, neplatná data se zadávají a platná data se zadávají jako vstup do pracovního postupu Informatica.
- Ujistěte se, že jste otestovali, že se načítají všechna požadovaná data, abyste mohli cílit úplně. K tomu můžete použít testovací případ - T003 popsaný výše jako ukázku.
- Je velmi důležité otestovat, že pracovní postup provádí všechny transformace dat správně podle obchodních pravidel.
- Navrhoval bych, že pro každou transformaci použitou v mapování Informatica byste měli mít kontrolní seznam pro ověření výstupních dat. Tímto způsobem můžete snadno hlásit chyby, pokud jakákoli transformace nefunguje dobře.
Závěr:
Viděli jsme tedy podrobně některé ukázkové testovací případy, které lze použít jako šablonu pro pokrytí testování ETL v Informatice. Jak jsem již zmínil dříve, můžete tyto testovací případy přidat / odebrat / upravit v závislosti na scénáři, který máte ve svém projektu.
Jak jsem již zmínil dříve, můžete tyto testovací případy přidat / odebrat / upravit v závislosti na scénáři, který máte ve svém projektu.
Informatica PowerCenter je základem veškerých aktivit integrace dat.
Můžete snadno provádět bezskriptové automatické testování dat zkopírovaných do testovacího, vývojového nebo produkčního prostředí, a proto je dnes PowerCenter nejoblíbenějším nástrojem ETL.
Doporučené čtení => Testování ETL vs. DB - bližší pohled na potřebu testování ETL
O autorovi: Toto je hostující článek Priyy K. Má více než 4 roky praktických zkušeností s vývojem a podporou aplikací Informatica ETL.
Neváhejte a pošlete své dotazy / komentáře o tomto nástroji ETL.
Doporučené čtení
- Nejlepší nástroje pro testování softwaru 2021 [QA Test Automation Tools]
- Jak provádět backendové testování
- ETL Testing Interview Otázky a odpovědi
- Výukový program pro testování datového skladu ETL (kompletní průvodce)
- Testování stahování e-knih Primer
- Testování ETL vs. DB - bližší pohled na potřeby testování ETL, plánování a nástroje ETL
- Testování zátěže pomocí LoadUI - bezplatný a otevřený nástroj pro testování zátěže
- Nejlepší 10 testovacích nástrojů ETL v roce 2021