Top 29 Data Engineer Interview Otázky a odpovědi

top 29 data engineer interview questions

Seznam nejčastěji kladených otázek a odpovědí na otázky datového inženýra, které vám pomohou připravit se na nadcházející rozhovor:

Dnes je datové inženýrství nejvyhledávanějším oborem po vývoji softwaru a stalo se jednou z nejrychleji se rozvíjejících možností zaměstnání na světě. Tazatelé chtějí pro svůj tým nejlepší datové inženýry, a proto mají tendenci důkladně pohovořit s kandidáty. Hledají určité dovednosti a znalosti. Musíte tedy být odpovídajícím způsobem připraveni splnit jejich očekávání.

Co se naučíte:

• Odpovědnosti datového inženýra
• Dovednosti datového inženýra
• Často kladené dotazy ohledně dotazů na datového inženýra
  • Obecné otázky k rozhovoru
  • Dotazy na technický rozhovor
• Závěr
  • Doporučené čtení

Odpovědnosti datového inženýra

Mezi odpovědnosti patří:

• Zpracovávat a dohlížet na data ve společnosti.
• Udržujte a zpracovávejte zdrojový systém dat a pracovní oblasti.
• Zjednodušte čištění dat spolu s následným vytvářením a zdokonalením duplikace dat.
• Zpřístupněte a proveďte jak transformaci dat, tak proces ETL.
• Extrahování a vytváření sestavování datových dotazů ad-hoc.

Dovednosti datového inženýra

S kvalifikací potřebujete také určité dovednosti. Oba jsou zásadní, když se připravujete na pozici datového inženýra. Zde uvádíme seznam 5 nejlepších dovedností, v žádném konkrétním pořadí, které budete potřebovat, abyste se stali úspěšným datovým inženýrem.

• Dovednosti ve vizualizaci dat.
• Python a SQL.
• Znalosti o datovém modelování pro Big Data i Data Warehousing
• Matematika
• Know-how v ETL
• Big Data Space Experience

Než se tedy začnete připravovat na pohovor, musíte na těchto dovednostech pracovat. A když máte zdokonalené dovednosti, zde je několik otázek k pohovoru, které si můžete připravit, aby si vás tazatelé všimli a také vás najali.

Často kladené dotazy ohledně dotazů na datového inženýra

Obecné otázky k rozhovoru

Otázka č. 1) Proč jste studovali datové inženýrství?

Odpovědět: Tato otázka si klade za cíl dozvědět se o vašem vzdělání, pracovních zkušenostech a pozadí. Mohla to být přirozená volba v pokračování vašeho studia informačních systémů nebo informatiky. Nebo jste možná pracovali v podobném oboru nebo přecházíte ze zcela jiné pracovní oblasti.

Ať už je váš příběh jakýkoli, nezdržujte se ani se nebojte. A zatímco sdílíte, neustále zdůrazňujte dovednosti, které jste se během této cesty naučili, a vynikající práci, kterou jste odvedli.

Nezačínejte však vyprávět. Začněte trochu svým vzděláním a poté se dostaňte k části, když jste věděli, že chcete být datovým inženýrem. A pak pokračujte v tom, jak se dostanete sem.

Otázka č. 2) Co je podle vás nejtěžší na tom být datovým inženýrem?

Odpovědět: Na tuto otázku musíte odpovědět upřímně. Ne každý aspekt všech pracovních míst je snadný a váš tazatel to ví. Cílem této otázky není určit vaši slabost, ale vědět, jak pracujete ve věcech, se kterými se vypořádáváte obtížně.

Můžete říci něco jako: „Jako datového inženýra je pro mě těžké splnit požadavek všech oddělení ve společnosti, kde většina z nich často přichází s protichůdnými požadavky. Často mi tedy připadá náročné je odpovídajícím způsobem vyvážit.

Ale nabídl mi cenný pohled na fungování oddělení a na roli, kterou hrají v celkové struktuře společnosti. “ A to je jen jeden příklad. Můžete a měli byste uvést svůj úhel pohledu.

Otázka č. 3) Řekněte nám událost, kdy jste měli shromáždit data z různých zdrojů, ale narazili jste na neočekávané problémy a jak jste to vyřešili?

Odpovědět: Tato otázka je pro vás příležitostí předvést své dovednosti v oblasti řešení problémů a toho, jak se přizpůsobujete náhlým změnám plánu. Otázku lze řešit obecně nebo konkrétně v kontextu datového inženýrství. Pokud jste takový zážitek nezažili, můžete odpovědět hypoteticky.

Zde je ukázka odpovědi: „V mé předchozí franšízové ​​společnosti jsem měl já a můj tým shromažďovat data z různých míst a systémů. Ale jedna z franšíz změnila svůj systém bez předchozího upozornění. To mělo za následek několik problémů se shromažďováním a zpracováním dat.

Abychom to vyřešili, museli jsme nejprve vymyslet rychlé krátkodobé řešení pro získání základních dat do systému společnosti. A poté jsme vyvinuli dlouhodobé řešení, které zabrání tomu, aby se takové problémy opakovaly. “

Otázka č. 4) Jak se liší práce datového inženýra od práce datového architekta?

Odpovědět: Tato otázka je určena ke kontrole, zda chápete, že v týmu datového skladu existují rozdíly. S odpovědí se nemůžete pokazit. Odpovědnosti obou se překrývají nebo se liší podle toho, co oddělení údržby databáze nebo společnost potřebuje.

Můžete říci, že „podle mých zkušeností se rozdíl mezi rolemi datového inženýra a datového architekta u jednotlivých společností liší. I když velmi úzce spolupracují, existují rozdíly v jejich obecných povinnostech.

Za správu serverů a budování architektury datového systému společnosti odpovídá datový architekt. Práce datového inženýra spočívá v testování a údržbě této architektury. Spolu s tím se my, datoví inženýři, ujistíme, že data, která jsou poskytována analytikům, jsou vysoce kvalitní a spolehlivá. “

Dotazy na technický rozhovor

Otázka č. 5) Co jsou čtyři V Big Data?

(obraz zdroj )

Odpovědět:

Čtyři V Big Data jsou:

• První V je Rychlost což je míra rychlosti generování velkých dat v průběhu času. Lze jej tedy považovat za analýzu dat.
• Druhé V je Odrůda různých forem velkých dat, ať už jde o obrázky, soubory protokolu, mediální soubory a hlasové záznamy.
• Třetí V je Hlasitost údajů. Může to být v počtu uživatelů, počtu tabulek, velikosti dat nebo počtu záznamů.
• Čtvrté V je Pravdivost související s nejistotou nebo jistotou údajů. Jinými slovy rozhoduje o tom, jak si můžete být jisti přesností údajů.

Otázka č. 6) Jak se strukturovaná data liší od nestrukturovaných dat?

Odpověď: Níže uvedená tabulka vysvětluje rozdíly:

Otázka č. 7) S jakými nástroji ETL jste obeznámeni?

Odpovědět: Pojmenujte všechny nástroje ETL, se kterými jste pracovali. Můžete říci: „Pracoval jsem se správami dat SAS, IBM Infosphere a SAP Data Services. Ale mým preferovaným je PowerCenter od Informatica. Je efektivní, má extrémně vysoký výkon a je flexibilní. Stručně řečeno, má všechny důležité vlastnosti dobrého nástroje ETL.

Hladce provozují operace s obchodními daty a zaručují přístup k datům, i když v podniku nebo jeho struktuře dochází ke změnám. “ Ujistěte se, že mluvíte pouze o těch, se kterými jste pracovali a se kterými pracujete rádi. Nebo by to mohlo váš rozhovor dodat později.

Otázka č. 8) Řekněte nám o návrhových schématech modelování dat.

Odpovědět: Datové modelování přichází se dvěma typy návrhových schémat.

Vysvětlují se takto:

• První je Hvězdný plán , která je rozdělena na dvě části - tabulku faktů a tabulku dimenzí. Zde jsou obě tabulky propojeny. Hvězdné schéma je nejjednodušší styl schématu datových trhů a je také nejpoužívanější. Je pojmenován tak, protože jeho struktura připomíná hvězdu.
• Druhý je Schéma sněhové vločky což je rozšíření hvězdného schématu. Přidává další rozměry a nazývá se sněhová vločka, protože její struktura se podobá sněhové vločce.

Otázka č. 9) Jaký je rozdíl mezi hvězdným schématem a schématem sněhové vločky?

(obraz zdroj )

Odpověď: Níže uvedená tabulka vysvětluje rozdíly:

Otázka č. 10) Jaký je rozdíl mezi datovým skladem a provozní databází?

Odpověď: Níže uvedená tabulka vysvětluje rozdíly:

Otázka č. 11) Poukažte na rozdíl mezi OLTP a OLAP.

Odpovědět: Níže uvedená tabulka vysvětluje rozdíly:

Otázka č. 12) Vysvětlete hlavní koncept za rámcem Apache Hadoop.

Odpovědět: Je založen na algoritmu MapReduce. V tomto algoritmu se ke zpracování obrovské datové sady používají operace Map a Reduce. Mapování, filtrování a třídění dat, zatímco redukce, sumarizuje data. Škálovatelnost a odolnost proti chybám jsou klíčovými body tohoto konceptu. Těchto funkcí v Apache Hadoop můžeme dosáhnout efektivní implementací MapReduce a Multi-threading.

Otázka č. 13) Pracovali jste někdy s Hadoop Framework?

(obraz zdroj )

Odpovědět: Mnoho manažerů najímání se v rozhovoru ptá na nástroj Hadoop, aby věděli, zda znáte nástroje a jazyky, které společnost používá. Pokud jste pracovali s Hadoop Framework, řekněte jim podrobnosti o vašem projektu, abyste osvětlili své znalosti a dovednosti s nástrojem a jeho schopnostmi. A pokud jste s ním nikdy nepracovali, bude fungovat i nějaký výzkum, který by prokázal určitou znalost jeho atributů.

Můžeš říct, například, 'Při práci na týmovém projektu jsem měl příležitost pracovat s Hadoop.' Zaměřili jsme se na zvýšení efektivity zpracování dat, proto jsme se kvůli jeho schopnosti zvýšit rychlost zpracování dat bez ohrožení kvality během jeho distribuovaného zpracování rozhodli použít Hadoop.

A protože moje předchozí společnost očekávala v příštích několika měsících značné zvýšení zpracování dat, přišla vhod i její škálovatelnost. Hadoop je také síť s otevřeným zdrojovým kódem založená na prostředí Java, což z ní činí nejlepší volbu pro projekty s omezenými zdroji a snadno použitelnou bez dalšího školení. “

jaký je nejlepší anti spyware

Otázka č. 14) Uveďte některé důležité funkce Hadoopu.

Odpověď: Funkce jsou následující:

• Hadoop je bezplatný open source framework, kde můžeme měnit zdrojový kód podle našeho požadavku.
• Podporuje rychlejší distribuované zpracování dat. HDFS Hadoop ukládá data distribuovaným způsobem a k paralelnímu zpracování dat používá MapReduce.
• Hadoop je vysoce tolerantní a ve výchozím nastavení umožňuje v různých uzlech uživateli vytvořit tři repliky každého bloku. Pokud je tedy jeden z uzlů neúspěšný, můžeme data obnovit z jiného uzlu.
• Je také škálovatelný a je kompatibilní s mnoha hardware.
• Protože Hadoop ukládal data do klastrů, nezávisle na všech ostatních operacích. Proto je spolehlivý. Uložená data zůstávají nedotčena selháním strojů. A proto je také vysoce dostupný.

Otázka č. 15) Jak můžete zvýšit obchodní příjmy analýzou velkých dat?

Odpovědět: Analýza velkých dat je důležitou součástí podniků, protože jim pomáhá odlišovat se od sebe a zvyšovat příjmy. Big data analytics nabízí přizpůsobené návrhy a doporučení pro podniky prostřednictvím prediktivní analýzy.

Pomáhá také podnikům při zavádění nových produktů na základě preferencí a potřeb zákazníků. To pomáhá podnikům vydělávat podstatně více, přibližně o 5–20% více. Společnosti jako Bank of America, LinkedIn, Twitter, Walmart, Facebook atd. Používají ke zvýšení svých příjmů analýzu velkých dat.

Otázka č. 16) Jaké kroky musíte při zavádění řešení Big Data dodržovat?

Odpověď: Při zavádění řešení Big Data je třeba dodržovat tři kroky:

• Příjem dat - Jedná se o první krok v nasazení řešení Big Data. Jedná se o extrakci dat z různých zdrojů, jako jsou SAP, MYSQL, Salesforce, soubory protokolu, interní databáze atd. Ke zpracování dat může dojít prostřednictvím streamování v reálném čase nebo dávkových úloh.
• Datové úložiště- Po načtení dat by měla být extrahovaná data někde uložena. Je uložen v databázích HDFS nebo NoSQL. HDFS funguje dobře pro sekvenční přístup přes HBase pro náhodný přístup pro čtení nebo zápis.
• Zpracování dat- Toto je třetí a závěrečný krok pro nasazení na řešení Big Data. Po uložení jsou data zpracovávána prostřednictvím jednoho z hlavních rámců, jako je MapReduce nebo Pig.

Otázka č. 17) Co je blok a skener bloků v HDFS?

Odpovědět: Blok je minimální množství dat, která lze v HDFS zapisovat nebo číst. 64 MB je výchozí velikost bloku.

Skener bloků je program, který pravidelně sleduje počet bloků na DataNode a ověřuje je kvůli možným chybám kontrolního součtu a poškození dat.

Otázka č. 18) Jakým výzvám jste čelili při zavádění nových aplikací pro analýzu dat, pokud jste již nějakou zavedli?

Odpovědět: Pokud jste nikdy nezaváděli novou analýzu dat, můžete to jednoduše říct. Protože jsou poměrně drahé, a proto se tak nestává často, aby to společnosti dělaly. Pokud se však společnost rozhodne do ní investovat, může to být nesmírně ambiciózní projekt. K instalaci, připojení, používání a údržbě těchto nástrojů by bylo zapotřebí vysoce vyškolených zaměstnanců.

Takže pokud jste někdy tímto procesem prošli, řekněte jim, jakým překážkám jste čelili a jak jste je překonali. Pokud ne, řekněte jim podrobně, co o tomto procesu víte. Tato otázka určuje, zda máte základní know-how k překonání problémů, které mohou nastat při zavádění nových aplikací pro analýzu dat.

Ukázka odpovědi; 'Byl jsem součástí zavádění nové analýzy dat v mé předchozí společnosti.' Celý proces je propracovaný a vyžaduje dobře naplánovaný proces pro hladký možný přechod.

I při bezvadném plánování se však nemůžeme vždy vyhnout nepředvídaným okolnostem a problémům. Jedním z takových problémů byla neuvěřitelně vysoká poptávka po uživatelských licencích. Šlo to nad rámec toho, co jsme očekávali. Pro získání dalších licencí musela společnost přerozdělit finanční zdroje.

Školení muselo být také naplánováno tak, aby nebránilo pracovnímu postupu. Také jsme museli optimalizovat infrastrukturu tak, aby podporovala vysoký počet uživatelů. “

Otázka č. 19) Co když dojde ke zhroucení NameNode v clusteru HDFS?

Odpovědět: Klastr HDFS má pouze jeden NameNode a udržuje metadata DataNode. Pouze jeden NameNode dává clusterům HDFS jediný bod selhání.

Pokud tedy NameNode spadne, systémy by mohly být nedostupné. Abychom tomu zabránili, můžeme určit sekundární NameNode, který přijímá pravidelné kontrolní body v souborových systémech HDFS, ale nejde o zálohu NameNode. Ale můžeme jej použít k opětovnému vytvoření NameNode a restartování.

Otázka č. 20) Rozdíl mezi NAS a DAS v klastru Hadoop.

Odpovědět: V NAS jsou úložiště a výpočetní vrstvy oddělené a úložiště je poté distribuováno mezi různé servery v síti. V DAS je úložiště obvykle připojeno k výpočetnímu uzlu. Apache Hadoop je založen na principu zpracování v blízkosti konkrétního umístění dat.

Proto by měl být úložný disk pro výpočet lokální. DAS vám pomůže získat výkon v klastru Hadoop a lze jej použít na komoditním hardwaru. Jednoduše řečeno, je to nákladově efektivnější. Ukládání na NAS je preferováno s velkou šířkou pásma kolem 10 GbE.

Otázka č. 21) Je budování databáze NoSQL lepší než budování relační databáze?

(obraz zdroj )

Odpovědět: V odpovědi na tuto otázku musíte předvést své znalosti o obou databázích. Musíte to také podpořit příkladem situace, která ukazuje, jak budete nebo jste použili know-how ve skutečném projektu.

Vaše odpověď by mohla znít asi takto: „V některých situacích může být výhodné vytvořit databázi NoSQL. V mé poslední společnosti, kdy se franšízový systém exponenciálně zvětšoval, jsme se museli rychle škálovat, abychom co nejvíce využili všechna provozní a prodejní data, která jsme měli.

Při zpracování zvýšené zátěže zpracování dat je škálování lepší než škálování u větších serverů. Je to nákladově efektivní a snáze proveditelné s databázemi NoSQL, protože dokáže snadno zpracovat obrovské objemy dat. To se hodí, když potřebujete v budoucnu rychle reagovat na značné posuny zatížení dat.

Ačkoli relační databáze přicházejí s lepším připojením k jakýmkoli analytickým nástrojům. Ale databáze NoSQL mají co nabídnout. “

Otázka č. 22) Co děláte, když narazíte na neočekávaný problém s údržbou dat? Vyzkoušeli jste pro to nějaké out-of-the-box řešení?

Odpovědět: Nevyhnutelně vznikají neočekávané problémy každou chvíli při každé rutinní úloze, dokonce i při údržbě dat. Tato otázka si klade za cíl vědět, zda a jak lze řešit situace pod vysokým tlakem.

Můžete říci něco jako „údržba dat může být rutinní úkol, ale je důležité pečlivě sledovat konkrétní úkoly, včetně zajištění úspěšného provádění skriptů.

Jednou jsem při kontrole integrity narazil na poškozený index, který by mohl v budoucnu způsobit vážné problémy. Proto jsem přišel s novým úkolem údržby, který má zabránit přidávání poškozených indexů do databáze společnosti. “

Otázka č. 23) Už jste někdy trénovali někoho ve svém oboru? Pokud ano, co vám na tom přišlo nejnáročnější?

Odpovědět: Datoví inženýři obvykle potřebují trénovat své spolupracovníky v nových systémech nebo procesech, které jste vytvořili, nebo vyškolit nové zaměstnance v již existujících systémech a architektuře. S touto otázkou tedy chce váš tazatel vědět, zda to zvládnete. Pokud jste neměli šanci někoho sami trénovat, promluvte si o výzvách, které někdo, kdo trénoval, nebo o kterých víte, že vám čelili.

Ukázka ideální odpovědi bude asi taková. 'Ano, měl jsem šanci trénovat malé i velké obě skupiny spolupracovníků.' Školení nových zaměstnanců s významnými zkušenostmi v jiné společnosti je tím nejnáročnějším úkolem, na který jsem narazil. Často jsou tak zvyklí přistupovat k datům z jedné jiné perspektivy, že se snaží akceptovat způsob, jakým děláme věci.

Často mají extrémní mínění a myslí si, že vědí všechno správně, a proto jim trvá hodně času, než si uvědomí, že problém může mít více než jedno řešení. Snažím se je povzbudit, aby otevřeli své mysli a přijali alternativní možnosti, a to zdůrazněním toho, jak úspěšná byla naše architektura a procesy. “

Otázka č. 24) Jaké jsou výhody a nevýhody práce v cloudových výpočtech?

(obraz zdroj )

Odpovědět:

Profesionálové:

• Žádné náklady na infrastrukturu.
• Minimální správa.
• Žádné potíže ohledně správy a správy.
• Snadný přístup.
• Plaťte za to, co používáte.
• Je to spolehlivé.
• Nabízí kontrolu dat, zálohování a obnovu.
• Obrovské úložiště.

Nevýhody:

• Aby fungovalo dobře, potřebuje dobré připojení k internetu se stejně dobrou šířkou pásma.
• Má své prostoje.
• Vaše kontrola nad infrastrukturou bude omezená.
• Existuje malá flexibilita.
• Má určité průběžné náklady.
• Mohou nastat bezpečnostní a technické problémy.

Otázka č. 25) Práce datových inženýrů je obvykle „v zákulisí“. Vyhovuje vám práce mimo „reflektor“?

Odpovědět: Váš náborový manažer chce vědět, jestli máte rádi záři reflektorů, nebo můžete dobře fungovat v obou situacích. Vaše odpověď by jim měla napovědět, že i když se vám záře reflektorů líbí, práce v pozadí vám vyhovuje.

'Pro mě je důležité, že bych měl být odborníkem ve svém oboru a přispívat k růstu své společnosti.' Pokud musím pracovat ve světle reflektorů, dělá mi to také dobře. Pokud se vyskytne problém, který musí vedoucí pracovníci řešit, nebudu váhat zvýšit hlas a upozornit ho na to. “

Otázka č. 26) Co se stane, když skener bloků detekuje poškozený datový blok?

Odpovědět: Nejprve se DataNode hlásí na NameNode. Potom NameNode začne vytvářet novou repliku prostřednictvím repliky poškozeného bloku. Poškozený datový blok nebude odstraněn, pokud počet replikací správných replik odpovídá faktoru replikace.

Otázka č. 27) Už jste někdy našli nové inovativní využití pro již existující data? Ovlivnilo to pozitivně společnost?

Odpovědět: Tato otázka je určena pro ně, aby zjistili, zda jste dostatečně motivovaní a dychtiví přispět k úspěchu projektů. Pokud je to možné, odpovězte na otázku příkladem, kde jste převzali odpovědnost za projekt nebo jste přišli s nápadem. A pokud jste někdy představili nové řešení problému, nenechte si ho ujít.

Příklad odpovědi: 'V posledním zaměstnání jsem se podílel na zjištění, proč máme vysokou fluktuaci zaměstnanců.' Pozorně jsem sledoval data z různých oddělení, kde jsem našel vysoce korelované údaje v klíčových oblastech, jako jsou finance, marketing, provoz atd., A míra fluktuace zaměstnanců.

Spolupráce s analytiky oddělení pro lepší pochopení těchto korelací. S naším porozuměním jsme provedli několik strategických změn, které pozitivně ovlivnily míru fluktuace zaměstnanců. “

Otázka č. 28) Jaké netechnické dovednosti jsou podle vás jako datový inženýr nejvhodnější?

Odpovědět: Pokuste se vyhnout nejzřetelnějším odpovědím, jako jsou komunikační nebo mezilidské dovednosti. Můžete říci: „Stanovení priorit a multitasking se mi v mé práci často hodí. Za den dostáváme různé úkoly, protože pracujeme s různými odděleními. A proto se stává zásadní, abychom jim dali přednost. Usnadňuje naši práci a pomáhá nám je efektivně dokončit. “

Otázka č. 29) S jakými běžnými problémy jste se jako datový inženýr setkali?

Odpověď: Jedná se o:

• Kontinuální integrace a integrace v reálném čase.
• Ukládání obrovského množství dat a informací z těchto dat.
• Omezení zdrojů.
• Zvažte, které nástroje použít a které mohou přinést nejlepší výsledky.

Závěr

Datové inženýrství může znít jako rutinní nudná práce, ale má mnoho zajímavých aspektů. To je patrné z možných scénářů otázek, které by se tazatelé mohli ptát. Měli byste být připraveni odpovědět nejen na technické knižní otázky, ale také na situační otázky, jako jsou výše uvedené. Jen tak budete moci dokázat, že svou práci zvládnete dobře a zasloužíte si ji.

Vše nejlepší!!

Doporučené čtení

• Dotazy a odpovědi na pohovor
• ETL Testing Interview Otázky a odpovědi
• Top 32 nejlepších datastage rozhovor otázky a odpovědi
• Nejlepší otázky a odpovědi na rozhovor JSON
• Nejlepší otázky a odpovědi na rozhovor s Teradata
• Top 24 dotazů na datové modelování rozhovorů s podrobnými odpověďmi
• Nejlepší 50+ otázek a odpovědí na rozhovory s databázemi
• Top 30 SAS Interview Dotazy a odpovědi