oracle data warehouse
Průvodce Oracle Data Warehouse s výhodami, architekturou, riziky a porovnáním se systémem OLTP (online zpracování transakcí):
V předchozím tutoriálu z Komplexní průvodce Oracle , Dozvěděli jsme se o produktech a službách Oracle v různých doménách, jako jsou aplikace, databáze, operační systémy atd. Tento článek poskytne podrobné znalosti o Oracle Data Warehousing. Předtím ale nejprve pochopíme koncept Business Intelligence (BI).
Business Intelligence
Business Intelligence je softwarová doména, která ztělesňuje určité metody, technologie, nástroje a aplikace, které pomáhají při strukturování, zdokonalování a transformaci objemných dat do inteligentního a srozumitelného formátu, který mohou zákazníci využít pro generování přizpůsobených sestav a také pomáhá při podnikání rozhodnutí.
K dispozici jsou různé možnosti pro tuto potřebu, jako je datové sklady, OLAP (online zpracování transakcí), dolování dat, integrace dat, rozhodovací inženýrství, tabulky atd.
Enterprise Data Warehousing (EDW) je jednou ze základních komponent BI, která slouží analytickým a reportovacím potřebám podniků. Data Warehouse je systém pro správu relačních databází (RDBMS), který obsahuje konsolidovaná data přijatá z více zdrojů pro pozdější použití.
virtuální zařízení pro vyrovnávání zatížení open source
Co se naučíte:
- Přehled Oracle Data Warehouse
- Porovnání datového skladu OLTP vs.
- Kontrastní datový sklad a datový trh
- Přehled procesu ETL
- Architektura datového skladu
- Závěr
Přehled Oracle Data Warehouse
Proč je označován jako „Data Warehouse“?
Pokusme se připomenout význam slova „sklad“, aby se vztahovalo k pojmu „datový sklad“.
Fyzický sklad je úložiště, které slouží k ukládání zboží přijatého z různých zdrojů, které lze později dodat zákazníkovi na základě jeho potřeb.
(obraz zdroj )
Podobně je datový sklad úložištěm dat přijatých z různých zdrojových systémů. Těmito zdroji mohou být jakékoli úložné systémy, jako jsou datové tržiště, ploché soubory nebo jakákoli zařízení pro ukládání médií, která obsahují data pro různé podnikové domény, jako jsou HR, prodej, provoz, správa zdrojů a marketing atd.
Účel mít datový sklad
Podnik možná slyšel o konceptu datového skladu, ale může si být jistý, zda by měl tento podnik zahrnout do svého podniku. Přesto by vždy existovala potřeba ukládat data z různých zdrojů na společnou půdu a archivovat je, aby bylo možné uvolnit úložný prostor z transakčních systémů. To je místo, kde se systém datových skladů stává obchodním požadavkem.
Pro růst na trhu by management měl být dobrý v rozhodování, kterého lze dosáhnout až po důkladném prostudování minulých trendů organizace. Tato archivovaná data jsou proto v datovém skladu udržována v dobře organizovaném a vypočítaném formátu, aby mohla být v budoucnu předána pro obchodní analýzu.
Výhody datového skladu
Pokud bude datový sklad úspěšně implementován, může být prospěšný následujícími způsoby:
# 1) Zjednodušila práci analytiků poskytnutím vylepšené verze řešení business intelligence. Extrahuje data z více zdrojových systémů, transformuje a ukládá je, což může podnik přímo dotazovat k analýze.
Nabízí také různé nástroje, které podporují následující:
- Generování přizpůsobených obchodních zpráv.
- Interaktivní řídicí panely zobrazující požadované informace.
- Schopnost procházet podrobně pouze řídicími panely, abyste získali podrobnosti.
- Dolování dat a analýza trendů.
#dva) I po přijetí dat z různých zdrojových systémů zůstanou data v datovém skladu konzistentní v důsledku transformací, ke kterým došlo během procesu ETL. Konzistentní data dávají důvěru rozhodovateli, pokud jde o přesnost.
# 3) Datové sklady jsou také definovány jako spořič času, protože kritická data požadovaná zúčastněnými stranami pro přijímání obchodních rozhodnutí jsou k dispozici na jednom místě a lze je snadno načíst.
# 4) Ty jsou navrženy tak, aby uchovávaly historická data, a proto je možné je dotazovat ke studiu trendů v různých časových obdobích. Pomáhá také zúčastněným stranám odvodit cestu budoucího růstu.
Rizika spojená s používáním datového skladu
Spolu s výhodami zahrnuje každá nová implementace také řadu rizik, o která je třeba se starat.
Níže jsou uvedena některá rizika:
- Nekompatibilita zdrojových systémů se systémem datových skladů může nakonec vést k velké ruční práci.
- Nesprávný odhad času procesu ETL může vést k přerušené práci.
- Jedná se o velmi špičkové úložné systémy, a proto vyžadují vysokou údržbu. Jakýkoli pracovní postup nebo obchodní změny mohou být velmi vysoké.
- Nastavení datového skladu je časově náročný proces, protože vyžaduje spoustu času k pochopení obchodních toků a identifikaci integračních schopností k návrhu skladu.
- Zabezpečení dat je zde vždy riziko, protože obsahuje prastará historická data, která by v případě úniku mohla mít dopad na podnikání.
Porovnání datového skladu OLTP vs.
Rozdíly mezi OLTP a Data Warehouse lze pochopit z níže uvedené tabulky.
kde můžete sledovat anime online zdarma
| OLTP | Skladování dat |
|---|---|
| Vkládání a aktualizace jsou hlavní operace prováděné koncovými uživateli v systémech OLTP. | Datové sklady jsou většinou dotazovány pomocí příkazu SELECT a lze je aktualizovat pouze pomocí služeb ETL. |
| Systémy OLTP podporují obchodní transakce. | Data Warehouse podporuje obchodní rozhodnutí přijatá po analýze dokončených obchodních transakcí. |
| Data zůstávají nestálá, tj. Neustále se mění | Data by se neměla měnit. |
| Uchovávají nejnovější data. | Uchovávají historická data. |
| Uchovává nezpracovaná data bez jakýchkoli výpočtů. | Obsahuje souhrnná a dobře vypočítaná data. |
| Data budou normalizována. | Data zůstanou deaktivována. |
| Velikost databáze Oracle se může pohybovat od 50 MB do 100 GB. | Velikost databáze Oracle se může pohybovat od 100 GB do 2 TB. |
Kontrastní datový sklad a datový trh
Data Warehouse a DataMart nejsou oba pojmy podobné a zdá se, že souvisejí s ukládáním dat.
Ano, souvisejí a oba slouží k ukládání dat. Hlavním rozdílem mezi oběma z nich je kapacita pro ukládání dat a tento rozdíl pomáhá koncovým uživatelům vybrat správnou úložnou jednotku pro své systémy.
Data Mart má menší kapacitu pro uchovávání dat ve srovnání s datovým skladem, a proto jej lze považovat za jeho podmnožinu. Datové trhy se obvykle identifikují k ukládání omezených dat, která by mohla být konkrétního oddělení nebo oboru podnikání, zatímco datové sklady lze použít k uchovávání konsolidovaných dat pro všechny.
Vezměme si příklad webu elektronického obchodu, který má různé kategorie zboží, jako je móda, doplňky, předměty pro domácnost, knihy a školní potřeby, elektronická zařízení atd.
Datové trhy tedy mohou být navrženy tak, aby ukládaly produktové datové kategorie moudře, zatímco datové sklady lze použít k ukládání kompletních dat webových stránek včetně historie na jednom místě.
Datové tržiště mají menší velikost, lze je vytvořit mnohem rychleji bez velké analýzy, jak je to nutné pro návrh datového skladu. Udržování synchronizace několika datových trhů však vyžaduje velké úsilí, aby byla zachována konzistence dat.
Přehled procesu ETL
ETL (Extrakce, Transformace a Načítání) je proces extrakce dat z různých zdrojových systémů, jejich transformace a načtení do systému Data Warehouse. Jedná se o složitý proces, který vyžaduje interakci s různými zdrojovými systémy pro extrakci dat, a tudíž i technicky náročný.
Transformace opět potřebuje hodně analýzy, aby pochopila formát zdrojových systémů a přenesla data do společného formátu, aby bylo možné v datovém skladu ukládat stejná data.
Proces ETL je opakující se úloha, která může běžet denně, týdně nebo dokonce měsíčně v závislosti na obchodních požadavcích.
Architektura datového skladu
Pojďme pochopit architekturu datového skladu, který je určen hlavně k ukládání rafinovaných dat pro předem definované obchodní požadavky. Architektura se skládá z 5 komponent s datovým tokem shora dolů.
Součásti jsou následující:
- Zdroje dat
- Staging dat
- Datový sklad (datové úložiště)
- Data March (Data Storage)
- Prezentace dat
Rozumíme všem fázím zařazeným výše po jedné.
# 1) Zdroje dat
Existují různé zdrojové systémy, které fungují jako vstup do systémů datových skladů.
Tyto zdrojové systémy mohou být:
- Relační databáze jako Oracle, DB2, MySQL, MS Access atd., Které lze použít k záznamu denních transakcí jakékoli organizace. Tyto každodenní obchodní transakce mohou souviset s ERP, CRM, prodejem, financemi a marketingem atd.
- Ploché pilníky
- webové služby
- RSS kanály a podobné zdroje.
# 2) Data Staging
Jakmile jsou zdroje dat na místě, dalším krokem by byla extrakce těchto dat ze zdrojových systémů do pracovní oblasti skladu.
Vzhledem k tomu, že data byla načtena z různých systémů, které používají různé formáty úložiště, je nutné data restrukturalizovat tak, aby byla uvedena do společného formátu. Transformace dat tedy probíhá jako další krok.
Během transformace dochází k čištění dat, což zahrnuje použití obchodních pravidel, filtrování dat, odstranění nadbytečnosti, formátování dat, třídění dat atd.
# 3) Datový sklad (úložiště dat)
Jakmile jsou data extrahována a transformována, načtou se do vícerozměrného prostředí, tj. Data Warehouse. Nyní mohou tato zpracovaná data použít koncoví uživatelé k analýze a dalším účelům.
# 4) Data Marts (úložiště dat)
jak najít soubory apk v systému Android
Jak již bylo zmíněno výše, že data jsou nyní připravena ke spotřebě koncovými uživateli, existuje jako další krok volitelný proces vytváření datových trhů. Tyto datové trhy lze použít k ukládání souhrnných dat konkrétního oddělení nebo oboru podnikání pro vyhrazené použití.
Například, lze přidat samostatná datová data pro oddělení jako prodej, finance a marketing atd. jako další krok, který bude obsahovat konkrétní data a umožní analytikovi provádět podrobné dotazy pro obchodní potřeby. Zabraňuje také všem ostatním koncovým uživatelům v přístupu k celému skladu, a proto činí data zabezpečenými.
# 5) Nástroje pro přístup k datům (prezentace dat)
Existuje řada předdefinovaných nástrojů Business Intelligence, které mohou uživatelé použít pro přístup k datovým skladům nebo datovým trhům. Tyto front-endové nástroje jsou navrženy mimořádně uživatelsky přívětivým způsobem, protože uživatelům poskytují různé možnosti přístupu k datům.
Možnosti jsou uvedeny níže:
- Aplikováním dotazu na Oracle nebo jiné databáze přímo prostřednictvím SQL.
- Generování zpráv.
- Vývoj aplikací.
- Používání nástrojů pro dolování dat atd.
Několik populárních nástrojů pro skladování dostupných na trhu je:
- Analytix DS
- Amazon Redshift
- Software Ab Initio
- Code Futures
- Holistická správa dat
- Informatika Corporation
Cloudové datové sklady
Světové datové sklady nadměrně uznávají. Vyvstává další otázka: Používáme k nasazení datových skladů optimalizovaný přístup?
Poté bylo představeno Cloud Data Warehousing, které převládá nad Enterprise Data Warehousing (EDW). Koncept cloudových datových skladů nabízí různé výhody.
Jedná se o následující:
i) Škálovatelnost: Data v cloudových systémech jsou snadno škálovatelná nahoru a dolů bez potíží, zatímco na tradiční škálování datových skladů spotřebovává spoustu času a prostředků.
ii) Úspora nákladů: Cloudové datové sklady přinesly pozoruhodný rozdíl v investicích potřebných pro nastavení skladu. Snížili hromadné počáteční náklady odstraněním nákladů na
-
- Údržba hardwarových / serverových místností.
- Personál potřebný pro údržbu.
- Ostatní provozní náklady.
(iii) Výkon: Výkon je dalším faktorem, který umožnil cloudovým systémům dominovat nad tradičními. Pokud je podnikání rozšířeno globálně a k datům je třeba přistupovat z různých částí světa s rychlejším obratem, je nejlepší použít cloudové sklady.
Masivně paralelní zpracování (MPP) je jednou z metod společného zpracování, které sklady používají k dosažení stejného výsledku.
(iv) Připojení: Jak již bylo zmíněno výše, pokud je třeba k datům přistupovat z více geografických umístění, uživatelé potřebují vynikající připojení k těmto skladům a cloudový sklad nabízí to samé.
Závěr
Doufáme, že všichni máte po přečtení výše uvedeného článku spravedlivou představu o systému Oracle Data Warehousing. Dejte nám vědět, pokud potřebujete nějaké informace o konkrétním tématu týkajícím se datových skladů, abychom to mohli v nadcházejících výukových programech zakrýt.
Výukový program PREV | DALŠÍ výuka
Doporučené čtení
- Co je datové jezero | Data Warehouse vs Data Lake
- Výukový program pro testování datových skladů s příklady | Průvodce testováním ETL
- Top 10 populárních nástrojů datového skladu a testovacích technologií
- Dimenzionální datový model v datovém skladu - výuka s příklady
- Metadata v datovém skladu (ETL) vysvětlena příklady
- Výukový program pro testování datového skladu ETL (kompletní průvodce)
- Typy schémat v modelování datových skladů - schéma Star & SnowFlake
- Co je proces ETL (extrakce, transformace, načtení) v datovém skladu?