data warehousing fundamentals
Zjistěte vše o základech datového skladu. Tento hloubkový průvodce vysvětluje, co je datové skladování spolu s jeho typy, charakteristikami, přednostmi a nedostatky:
co je plán testování v testování softwaru
Datový sklad je nejnovější trend v ukládání dat v dnešním IT průmyslu.
Tento výukový program vysvětlí, co je datový sklad? Proč je datové skladování klíčové? Typy aplikací datového skladu, charakteristiky datového skladu, výhody a nevýhody datového skladu.
Seznam výukových programů pro datové sklady v této sérii:
Výukový program č. 1: Základy datového skladu
Výukový program č. 2: Co je proces ETL v datovém skladu?
Výukový program č. 3: Testování datového skladu
Výukový program č. 4: Dimenzionální datový model v datovém skladu
Výukový program č. 5: Typy schémat v modelování datového skladu
Výukový program č. 6: Výukový program Data Mart
Výukový program č. 7: Metadata v ETL
Přehled výukových programů v této sérii datových skladů
Tutorial_Num | Co se naučíte |
---|---|
Výukový program č. 7 | Metadata v ETL Tento kurz vysvětluje roli metadat v ETL, příklady a typy metadat, úložiště metadat a výzvy ve správě metadat. |
Výukový program č. 1 | Základy datového skladu Naučte se vše o koncepcích datového skladu z tohoto kurzu. Tento podrobný průvodce vysvětluje, co je datový sklad spolu s jeho typy, charakteristikami, přednostmi a nedostatky. |
Výukový program č. 2 | Co je proces ETL v datovém skladu? Tento podrobný návod k procesu ETL vysvětluje tok procesu a kroky zapojené do procesu ETL (extrakce, transformace a načítání) v datovém skladu. |
Výukový program č. 3 | Testování datového skladu Cíle a význam testování datového skladu, odpovědnosti za testování ETL, chyby v nasazení DW a ETL podrobně v tomto kurzu. |
Výukový program č. 4 | Dimenzionální datový model v datovém skladu Tento kurz vysvětluje výhody a mýty dimenzionálního datového modelu v Data Warehouse. Dozvíte se také o dimenzionálních tabulkách a tabulkách faktů s příklady. |
Výukový program č. 5 | Typy schémat v modelování datového skladu Tento kurz vysvětluje různé typy schémat Data Warehouse. Zjistěte, co je schéma Hvězda a sněhová vločka a jaký je rozdíl mezi schématem Hvězda a sněhová vločka. |
Výukový program č. 6 | Výukový program Data Mart Tento výukový program vysvětluje koncepty Data Mart včetně implementace Data Mart, typů, struktury a rozdílů mezi Data Warehouse a Data Mart. |
Co se naučíte:
Základy datového skladu: Kompletní průvodce
Cílová skupina
- Vývojáři a testeři datového skladu / ETL.
- Databázoví profesionálové se základními znalostmi databázových konceptů.
- Správci databází / odborníci na velká data, kteří chtějí porozumět konceptům datových skladů.
- Absolventi / osvěžovači vysokých škol, kteří hledají práci v datových skladech.
Co je datové sklady?
Data Warehouse (DW) je úložiště obrovského množství organizovaných dat. Tato data jsou konsolidována z jednoho nebo více různých zdrojů dat. DW je relační databáze, která je určena hlavně pro analytické reporty a včasné rozhodování v organizacích.
Data pro tento účel jsou izolována a optimalizována od údajů o zdrojových transakcích, což nebude mít žádný dopad na hlavní podnikání. Pokud organizace zavede jakoukoli obchodní změnu, pak se DW používá k prozkoumání účinků této změny, a proto se DW také používá k monitorování procesu nerozhodování.
Datový sklad je většinou systém jen pro čtení, protože provozní data jsou velmi oddělená od DW. To poskytuje prostředí pro načtení nejvyššího množství dat s dobrým zápisem dotazu.
DW tedy bude fungovat jako backendový engine pro nástroje Business Intelligence, který zobrazuje zprávy, řídicí panely pro podnikové uživatele. DW se hojně používá v bankovnictví, finančním sektoru, maloobchodu atd.
Proč je datové skladování klíčové?
Níže jsou uvedeny některé důvody, pro které je Data Warehouse zásadní.
- Datový sklad shromažďuje všechna provozní data z několika heterogenních zdrojů „různých formátů“ a prostřednictvím procesu extrakce, transformace a načítání (ETL) načítá data do DW ve „standardizovaném dimenzionálním formátu“ napříč organizací.
- Datový sklad uchovává „aktuální i historická data“ pro analytické výkaznictví a rozhodování na základě faktů.
- Pomáhá organizacím přijímat „chytřejší a rychlejší rozhodnutí“ ohledně snižování nákladů a zvyšování výnosů porovnáním čtvrtletních a ročních zpráv za účelem zlepšení jejich výkonu.
Typy aplikací datového skladu
Business Intelligence (BI) je odvětví datových skladů určených pro rozhodování. Jakmile se načtou data v DW, BI hraje hlavní roli analýzou dat a jejich prezentací obchodním uživatelům.
Termín „aplikace datového skladu“ v praxi znamená, v kolika různých typech lze data zpracovat a využít.
Máme tři typy DW aplikací, jak je uvedeno níže.
- Zpracování informací
- Analytické zpracování
- Dolování dat, které slouží účelu BI
# 1) Zpracování informací
Jedná se o druh aplikace, kde datový sklad umožňuje přímý přímý kontakt s daty v něm uloženými.
Protože data lze zpracovávat psaním přímých dotazů na data (nebo) se základní statistickou analýzou dat a konečné výsledky budou reportovány obchodním uživatelům ve formě zpráv, tabulek, tabulek nebo grafů.
DW podporuje následující nástroje pro zpracování informací:
(i) Dotazovací nástroje: Obchodník (nebo) analytik spouští dotazy pomocí dotazovacích nástrojů k prozkoumání dat a generování výstupu ve formě zpráv nebo grafiky podle obchodního požadavku.
ii) Nástroje pro podávání zpráv: Pokud chce podnik vidět výsledky v jakémkoli definovaném formátu a plánovaně, tj. Denně, týdně nebo měsíčně, použijí se nástroje pro vytváření přehledů. Tyto druhy přehledů lze kdykoli uložit a zkontrolovat.
(iii) Statistické nástroje: Pokud chce podnik provést analýzu na širším pohledu na data, použijí se ke generování takových výsledků statistické nástroje. Podniky mohou vyvodit závěry a předpovědi pochopením těchto strategických výsledků.
# 2) Analytické zpracování
Jedná se o druh aplikace, kde datový sklad umožňuje analytické zpracování dat v něm uložených. Data mohou být analyzována následujícími operacemi jako Slice-and-Dice, Drill Down, Roll Up a Pivoting.
(i) Slice-and-Dice : Datový sklad umožňuje operacím slice-and-dice analyzovat data přístupná z mnoha úrovní pomocí kombinace různých perspektiv. Operace krájení a kostky interně využívá mechanismus rozbalení. Krájení funguje na dimenzionálních datech.
Jako součást obchodního požadavku, pokud se zaměříme na jednu oblast, pak krájení analyzuje rozměry dané konkrétní oblasti podle požadavků a dá výsledky. Dicing pracuje na analytických operacích. Dicing zvětšuje specifickou sadu atributů ve všech dimenzích, aby poskytl různé perspektivy. Rozměry jsou uvažovány z jednoho nebo více po sobě jdoucích řezů.
(ii) Přejít dolů : Pokud chce podnik přejít na podrobnější úroveň libovolného souhrnného čísla, pak je rozbalením operace pro navigaci v tomto souhrnu na menší podrobné úrovně. To dává skvělou představu o tom, co se děje a kde je třeba více zaměřit podnikání.
Přechod na nižší úroveň podrobností pro analýzu hlavních příčin z úrovně hierarchie. To lze snadno pochopit na příkladu, protože z prodeje může nastat prodejní hloubka Úroveň země -> Úroveň regionu -> Úroveň státu -> Úroveň okresu -> Úroveň obchodu.
(iii) Sbalit : Roll up funguje naproti operaci drill-down. Pokud chce podnik nějaká souhrnná data, pak se objeví obrázek. Agreguje data na úrovni podrobností pohybem nahoru v dimenzionální hierarchii.
Souhrny se používají k analýze vývoje a výkonu systému.
software pro vzdálenou plochu pro Windows 7
To lze pochopit pomocí Příklad jako v prodejním souhrnu, odkud je možné souhrnné souhrny Úroveň města -> Na úrovni státu -> Úroveň regionu -> Úroveň země .
(iv) Pivot : Pivoting analyzuje data dimenze otáčením dat na kostkách. Například, kótu řádků lze zaměnit za kótu sloupce a naopak.
# 3) Dolování dat
Jedná se o druh aplikace, kde datový sklad umožňuje zjišťování znalostí o datech a výsledky budou představovány pomocí vizualizačních nástrojů. Ve výše uvedených dvou typech aplikací mohou být informace řízeny uživateli.
Vzhledem k tomu, že data jsou v různých podnicích rozsáhlá, je obtížné dotazovat se a procházet datový sklad, abyste získali všechny možné informace o datech. Poté se do obrazu dostává dolování dat, aby bylo dosaženo objevení znalostí.
To pohání data se všemi minulými asociacemi, výsledky atd. A předpovídá budoucnost. Jedná se tedy o data a nikoli o uživatele. Data lze zjistit nalezením skrytých vzorů, asociací, klasifikací a předpovědí.
Data mining jde s daty do hloubky a předpovídá tak budoucnost. Na základě předpovědí také navrhuje opatření, která je třeba podniknout.
Níže jsou uvedeny různé aktivity dolování dat:
- Vzory: Dolování dat zjišťuje vzory, které se vyskytují v databázi. Uživatelé mohou poskytnout obchodní vstupy, u nichž se pro rozhodování očekávají určité znalosti vzorů.
- Sdružení / vztahy: Dolování dat objevuje vztahy mezi objekty s frekvencí jejich pravidel přidružení. Tento vztah může být mezi dvěma nebo více objekty (nebo), může objevit pravidla v rámci vlastností stejného objektu.
- Klasifikace: Data mining organizuje data v sadě předdefinovaných tříd. Pokud je tedy z dat sebrán jakýkoli objekt, klasifikace přidruží k tomuto objektu popisek příslušné třídy.
- Předpověď: Dolování dat porovnává sadu existujících hodnot a hledá nejlepší možné budoucí hodnoty / trendy v podnikání.
Proto na základě všech výše uvedených výsledků navrhuje Data mining také soubor opatření, která je třeba podniknout.
Charakteristika datového skladu
Datový sklad je postaven na základě následujících charakteristik dat jako předmětově orientovaná, integrovaná, energeticky nezávislá a časová varianta.
# 1) Orientováno na předmět: Můžeme definovat datový sklad jako předmětově orientovaný, protože můžeme analyzovat data s ohledem na konkrétní předmětnou oblast, spíše než na použití moudrých dat. To poskytuje výsledky, které jsou více definovány pro snadné rozhodování. Pokud jde o vzdělávací systém, předmětovými oblastmi by mohli být studenti, předměty, známky, učitelé atd.
# 2) Integrovaný: Data v datovém skladu jsou integrována z odlišných zdrojů, jako jsou jiné relační databáze, ploché soubory atd. Tak velké množství dat je načteno pro efektivní analýzu dat. Mohou však nastat konflikty dat, protože různé zdroje dat mohou být v různých formátech. Datový sklad přináší všechna tato data v konzistentním formátu napříč celým systémem.
# 3) Non-volatile: Jakmile jsou data načtena do datového skladu, nelze je změnit. Logicky je to přijatelné, protože častá změna dat vám nedovolí data analyzovat. Časté změny v provozní databázi lze načíst do datového skladu podle plánu, během tohoto procesu se přidají nová data, dřívější data se však nevymažou a zůstanou jako historická data.
# 4) Časová varianta: Všechna historická data spolu s nedávnými daty v datovém skladu hrají klíčovou roli při načítání dat libovolného trvání. Pokud podnik chce nějaké zprávy, grafy atd., Pak pro srovnání s předchozími roky a pro analýzu trendů jsou vyžadovány všechny staré údaje staré 6 měsíců, staré 1 rok nebo dokonce starší atd.
Výhody datového skladu
Když je systém datového skladu produktivní, získá jeho používání organizace následující výhody:
- Vylepšené Business Intelligence
- Zvýšený výkon systému a dotazů
- Business Intelligence z více zdrojů
- Včasný přístup k datům
- Vylepšená kvalita a konzistence dat
- Historická inteligence
- Vysoká návratnost investic
# 1) Vylepšené Business Intelligence: V dřívějších dobách, kdy Data Warehousing a Business Intelligence nebyli, se obchodní uživatelé a analytici rozhodovali s omezeným množstvím dat a se svým vlastním vnitřním pocitem.
DW & BI přinesly změnu tím, že poskytly pohledy na skutečná fakta a skutečná data organizace, která se shromažďují po určitou dobu. Firemní uživatelé mohou přímo vyhledávat data z obchodních procesů, jako jsou marketing, finance, prodej atd., Na základě jejich potřeb pro strategické rozhodování a chytrá obchodní rozhodnutí.
# 2) Zvýšený výkon systému a dotazů: Datové sklady shromažďují objemné informace z heterogenních systémů a umisťují je do jednoho systému, takže lze pro rychlé načtení dat použít jediný vyhledávací stroj.
# 3) Business Intelligence z více zdrojů: Víte, jak Business Intelligence obecně funguje na datech? Absorbuje data z více systémů, subsystémů, platforem a zdrojů dat, aby mohla pracovat na projektu. Datový sklad však tento problém pro BI řeší konsolidací všech dat projektu bez jakýchkoli duplikátů.
# 4) Včasný přístup k datům: Firemní uživatelé budou mít prospěch tím, že stráví méně času vyhledáváním dat. Mají po ruce některé nástroje, pomocí kterých mohou s minimálními technickými znalostmi dotazovat data a generovat zprávy. Díky tomu podnikaví uživatelé tráví dostatek času spíše než analýzou dat než shromažďováním dat.
# 5) Vylepšená kvalita a konzistence dat: Datové sklady transformují data s odlišnými formáty zdrojového systému do jediného formátu. Proto možná stejné obchodní jednotky, které získávají data do datového skladu, mohou znovu použít úložiště DW pro své obchodní zprávy a dotazy.
Z pohledu organizace tedy budou všechny obchodní jednotky v pohotovosti s konzistentními výsledky / zprávami. Tato kvalitní a konzistentní data tak pomáhají provozovat úspěšné podnikání.
# 6) Historická inteligence: Datový sklad uchovává všechna historická data, která nejsou udržována žádnými transakčními systémy. Toto velké množství dat se používá k analýze dat pro konkrétní dobu trvání a k jejich vykazování ak analýze trendů k předpovědi budoucnosti.
# 7) Vysoká návratnost investic (ROI): Kdokoli zahájí podnikání očekáváním dobré návratnosti investic, pokud jde o větší zisky a menší výdaje. V reálném datovém světě mnoho studií prokázalo, že implementace datového skladu a systémů Business Intelligence přinesla vysoké výnosy a ušetřila náklady.
Nyní byste měli být schopni pochopit, jak dobře navržený systém DW přináší vašemu podnikání výhody.
Nevýhody datového skladu
I když se jedná o velmi úspěšný systém, je dobré znát některá úskalí systému:
- Vytvoření datového skladu je rozhodně časově náročný a složitý proces.
- Náklady na údržbu jsou vysoké, protože systém vyžaduje neustálé aktualizace. Může se také zvýšit, pokud není správně využit.
- Vývojáři, testeři a uživatelé by měli být řádně vyškoleni, aby porozuměli systému DW a technicky jej implementovali.
- Mohou existovat citlivá data, která nelze načíst do DW pro rozhodování.
- Restrukturalizace jakýchkoli podnikových procesů (nebo) zdrojových systémů má na DW zásadní vliv.
Závěr
Doufáme, že tento úvodní kurz poskytl pozadí základů datových skladů. Podrobně jsme se podívali na všechny základní pojmy datového skladu.
V tomto komplexním kurzu jsme se naučili definici, typy, vlastnosti, výhody a nevýhody datového skladu.
=> Přečtěte si sérii školení pro snadné skladování dat.
Doporučené čtení
- Příklady dolování dat: Nejběžnější aplikace dolování dat 2021
- Jak funguje testování založené na datech (příklady QTP a selenu)
- Těžba dat: Proces, techniky a hlavní problémy v analýze dat
- Výukový program pro testování datového skladu ETL (kompletní průvodce)
- Nejlepší ZDARMA C # výukové série: Ultimate C # průvodce pro začátečníky
- Výukový program pro počítačové sítě: Průvodce Ultimate
- Výukový program QTP č. 18 - Data řízená a hybridní rozhraní vysvětlena na příkladech QTP
- 10+ nejlepších nástrojů pro sběr dat se strategiemi sběru dat