Výukový program Data Mart - Typy, příklady a implementace Data Mart

data mart tutorial types

Tento výukový program vysvětluje koncepty datových trhů včetně implementace datových trhů, typů, struktury a rozdílů mezi datovým skladem a datovým trhem:

V tomhle Dokončete sérii školení Data Warehouse , podívali jsme se na různé Schémata datového skladu podrobně.

Tento kurz vám pomůže podrobně se seznámit s koncepty Data Mart a jednoduchými příklady.

Uvidíme, co je datový trh? Kdy potřebujeme datový trh? Nákladově efektivní datový trh, náklady na datový trh, typy datových trhů, kroky při implementaci datového trhu, struktura datového trhu, kdy je užitečný pilotní datový trh? Nevýhody Datamart a rozdíly mezi Data Warehouse a Data Mart.

Cílová skupina

• Vývojáři a testeři datového skladu / ETL.
• Databázoví profesionálové se základními znalostmi databázových konceptů.
• Správci databází / odborníci na velká data, kteří chtějí porozumět konceptům datového skladu / ETL.
• Absolventi / osvěžovači vysokých škol, kteří hledají práci v datovém skladu

Co se naučíte:

• Co je datový trh?
  • Kdy potřebujeme Data Mart?
  • Nákladově efektivní datový trh
  • Náklady na datový trh
• Porovnání Data Warehouse vs. Data Mart
• Druhy datových trhů
  • # 1) Závislý datový trh
  • # 2) Nezávislý datový trh
  • # 3) Hybridní datový trh
• Kroky implementace datového trhu
• Struktura datového trhu
• Kdy je pilotní datový trh užitečný?
• Nevýhody datového trhu
• Závěr
  • Doporučené čtení

Co je datový trh?

Datový trh je malá část datového skladu, která souvisí hlavně s konkrétní obchodní doménou, jako je marketing (nebo) prodej atd.

Data uložená v systému DW jsou obrovská, a proto jsou datové trhy navrženy s podmnožinou dat, která patří jednotlivým oddělením. Specifická skupina uživatelů tak může tato data snadno využít pro svou analýzu.

Na rozdíl od datového skladu, který má mnoho kombinací uživatelů, bude mít každý datový trh konkrétní sadu koncových uživatelů. Menší počet koncových uživatelů vede k lepší době odezvy.

Datové trhy jsou také přístupné nástrojům Business Intelligence (BI). Datové trhy neobsahují duplikovaná (nebo) nepoužívaná data. Pravidelně se aktualizují. Jsou to předmětově orientované a flexibilní databáze. Každý tým má právo vyvíjet a udržovat své datové trhy bez úpravy datového skladu (nebo) dat jiného datového trhu.

Datový trh je vhodnější pro malé podniky, protože stojí mnohem méně než systém datového skladu. Čas potřebný k vybudování datového trhu je také kratší než čas potřebný k vybudování datového skladu.

Obrázkové znázornění více datových trhů:

Kdy potřebujeme Data Mart?

Na základě nutnosti naplánujte a navrhněte datový trh pro vaše oddělení zapojením zúčastněných stran, protože provozní náklady na datový trh mohou být někdy vysoké.

jak psát uat testovací případy

Zvažte následující důvody, proč vybudovat datový trh:

• Pokud chcete rozdělit data pomocí sady strategií řízení přístupu uživatelů.
• Pokud chce konkrétní oddělení vidět výsledky dotazu mnohem rychleji, místo skenování obrovských dat DW.
• Pokud oddělení chce, aby byla data postavena na jiných hardwarových (nebo) softwarových platformách.
• Pokud oddělení chce, aby byla data navržena způsobem, který je vhodný pro jeho nástroje.

Nákladově efektivní datový trh

Cenově výhodný datový trh lze vytvořit následujícími kroky:

• Určete funkční rozdělení: Rozdělte data organizace na konkrétní data každého datového tržiště (oddělení), abyste splnili její požadavek, bez jakékoli další organizační závislosti.
• Určete požadavky na nástroj pro přístup uživatele: Na trhu mohou existovat různé nástroje pro přístup uživatelů, které vyžadují různé datové struktury. Datové trhy se používají k podpoře všech těchto vnitřních struktur bez narušení dat DW. Jeden datový trh může být přidružen k jednomu nástroji podle potřeb uživatele. Datové trhy také mohou těmto nástrojům denně poskytovat aktualizovaná data.
• Zjistěte problémy s řízením přístupu: Pokud různé datové segmenty v systému DW vyžadují soukromí a měly by být přístupné sadě oprávněných uživatelů, lze všechna tato data přesunout do datových trhů.

Náklady na datový trh

Náklady na datový trh lze odhadnout takto:

• Náklady na hardware a software: Jakýkoli nově přidaný datový trh může potřebovat další hardware, software, výpočetní výkon, síť a úložný prostor na disku, aby mohl pracovat na dotazech požadovaných koncovými uživateli. Díky tomu je data marting drahou strategií. Proto by měl být rozpočet naplánován přesně.
• Síťový přístup: Pokud je umístění datového tržiště odlišné od umístění datového skladu, měla by být všechna data přenesena pomocí procesu načítání datového tržiště. Měla by tedy být poskytována síť pro přenos obrovských objemů dat, která mohou být nákladná.
• Omezení časového okna: Čas potřebný k načtení datového trhu bude záviset na různých faktorech, jako je složitost a objemy dat, kapacita sítě, mechanismy přenosu dat atd.

Porovnání Data Warehouse vs. Data Mart

Druhy datových trhů

Datové trhy se dělí na tři typy, tj. Závislé, nezávislé a hybridní. Tato klasifikace je založena na tom, jak byly naplněny, tj. Buď z datového skladu (nebo) z jiných zdrojů dat.

Extrakce, transformace a doprava (ETT) je proces, který se používá k naplnění dat datového trhu z jakýchkoli zdrojových systémů.

Podívejme se na každý typ podrobně !!

# 1) Závislý datový trh

V závislém datovém trhu jsou data získávána ze samotného existujícího datového skladu. Jedná se o přístup shora dolů, protože část restrukturalizovaných dat do datového trhu se extrahuje z centralizovaného datového skladu.

Datový trh může používat data DW logicky nebo fyzicky, jak je uvedeno níže:

• Logické zobrazení: V tomto scénáři nejsou data datového toku fyzicky oddělena od DW. Logicky odkazuje na data DW prostřednictvím virtuálních pohledů (nebo) tabulek.
• Fyzická podmnožina: V tomto scénáři jsou data datového trhu fyzicky oddělena od DW.

Jakmile je vyvinut jeden nebo více datových trhů, můžete uživatelům povolit přístup pouze k datovým trhům (nebo) pro přístup k datovým trhům a datovým skladům.

ETT je zjednodušený proces v případě závislých datových trhů, protože použitelná data již v centralizovaném DW existují. Přesná sada souhrnných dat by měla být přesunuta do příslušných datových trhů.

Níže je zobrazen obrázek závislého datového trhu :

# 2) Nezávislý datový trh

Nezávislý datový trh je nejvhodnější pro malá oddělení v organizaci. Zde data nejsou získávána z existujícího datového skladu. Nezávislý datový trh není závislý na podnikových DW ani na jiných datových tržištích.

Nezávislé datové trhy jsou samostatné systémy, kde se data extrahují, transformují a načítají z externích (nebo) interních zdrojů dat. Snadno se navrhují a udržují, dokud nepodporují obchodní potřeby jednoduchého oddělení.

S každou fází procesu ETT musíte pracovat v případě nezávislých datových trhů podobným způsobem, jako kdyby byla data zpracována do centralizovaného DW. Počet zdrojů a dat vyplněných do datových trhů však může být menší.

Obrázkové znázornění nezávislého datového trhu :

# 3) Hybridní datový trh

V hybridním datovém trhu jsou data integrována jak z DW, tak z jiných operačních systémů. Hybridní datové trhy jsou flexibilní s velkými úložnými strukturami. Může také odkazovat na data jiných datových trhů.

Obrázkové znázornění hybridního datového trhu:

Kroky implementace datového trhu

Implementace Data Mart, která je považována za trochu složitou, je vysvětlena v následujících krocích:

• Projektování: Od doby, kdy obchodní uživatelé požadují datový trh, zahrnuje fáze návrhu shromažďování požadavků, vytváření vhodných dat z příslušných zdrojů dat, vytváření logických a fyzických datových struktur a diagramů ER.
• Stavba: Tým navrhne všechny tabulky, pohledy, indexy atd. V systému datových trhů.
• Počet obyvatel: Data budou extrahována, transformována a načtena do datového trhu spolu s metadaty.
• Přístup: Data Data Mart jsou k dispozici pro přístup koncových uživatelů. Mohou dotazovat data pro svou analýzu a zprávy.
• Správa: To zahrnuje různé manažerské úkoly, jako jsou kontroly přístupu uživatelů, doladění výkonu datového tržiště, údržba stávajících datových trhů a vytváření scénářů obnovení datového tržiště v případě selhání systému.

Struktura datového trhu

Struktura každého datového trhu je vytvořena podle požadavku. Struktury Data Mart se nazývají Star joins. Tato struktura se bude u jednotlivých datových trhů lišit.

Spojení hvězd jsou vícerozměrné struktury, které jsou vytvořeny pomocí tabulek faktů a dimenzí na podporu velkého množství dat. Spojení hvězd bude mít uprostřed tabulku faktů obklopenou tabulkami dimenzí.

Data příslušné tabulky faktů jsou spojena s daty tabulek dimenzí s odkazem na cizí klíč. Tabulka faktů může být obklopena tabulkami dimenzí 20-30.

Podobně jako v systému DW, i ve hvězdných spojeních obsahují tabulky faktů pouze číselná data a příslušná textová data lze popsat v dimenzionálních tabulkách. Tato struktura připomíná hvězdné schéma v DW.

Obrázkové znázornění struktury spojení hvězd.

Granulární data z centralizovaného DW jsou ale základem pro data jakéhokoli datového trhu. Na normalizovaných datech DW bude provedeno mnoho výpočtů za účelem jejich transformace na data vícerozměrných dat, která jsou uložena ve formě krychlí.

Funguje to podobně, jak se data ze starších zdrojových systémů transformují na normalizovaná data DW.

Kdy je pilotní datový trh užitečný?

Pilot může být nasazen v malém prostředí s omezeným počtem uživatelů, aby bylo zajištěno, zda je nasazení úspěšné před plnohodnotným nasazením. To však není vždy nutné. Jakmile bude splněn účel, pilotní nasazení nebudou k ničemu.

jak zobrazit soubory bin na Androidu

Musíte zvážit níže uvedené scénáře, které doporučují pro pilotní nasazení:

• Pokud jsou koncoví uživatelé v systému datového skladu noví.
• Pokud se koncoví uživatelé chtějí cítit pohodlně načíst data / zprávy sami, než půjdou do výroby.
• Pokud si koncoví uživatelé chtějí vyzkoušet nejnovější nástroje (nebo) technologie.
• Pokud chce vedení vidět výhody jako důkaz konceptu, než bude vydáno jako velké vydání.
• Pokud tým chce, pokud zajistí, aby všechny komponenty ETL (nebo) infrastruktury fungovaly dobře před vydáním.

Nevýhody datového trhu

Ačkoli datové trhy mají oproti DW některé výhody, mají také některé nevýhody, jak je vysvětleno níže:

• Vytváření nežádoucích datových trhů je obtížné udržovat.
• Datové trhy jsou určeny pro potřeby malých podniků. Zvětšením velikosti datových trhů se sníží jeho výkon.
• Pokud vytváříte více datových trhů, měla by se správa řádně postarat o jejich správu verzí, zabezpečení a výkon.
• Datové trhy mohou obsahovat historické (nebo) souhrnné (nebo) podrobné údaje. Aktualizace dat DW a datových trhů však nemusí nastat současně kvůli problémům s nekonzistencí dat.

Závěr

Mnoho organizací směřuje k datovým trhům z hlediska úspory nákladů. Proto se tento kurz zaměřil na technické aspekty datových trhů v systému datového skladu.

Metadata v ETL jsou podrobně vysvětlena v našem nadcházejícím kurzu.

=> Navštivte zde a prohlédněte si sérii školení pro datové sklady pro všechny.

Doporučené čtení

• Výukový program pro testování datových skladů s příklady | Průvodce testováním ETL
• Datové typy Pythonu
• Datové typy C ++
• Dimenzionální datový model v datovém skladu - výuka s příklady
• Apriori Algorithm in Data Mining: Implementation With examples
• Příklady dolování dat: Nejběžnější aplikace dolování dat 2021
• Základy datového skladu: Průvodce s příklady
• Výukový program pro testování hlasitosti: Příklady a nástroje pro testování hlasitosti