specflow reporting how generate test reports
Výukový program pro Specflow Report Generator: Způsoby generování testovacích protokolů a provádění selektivních testů ve Specflow:
V tomhle Výukové kurzy Specflow pro všechny , prozkoumali jsme vše kolem Generování živé dokumentace s okurkami v našem předchozím tutoriálu.
V tomto kurzu se budeme zabývat různými technikami vytváření zpráv pro testy napsané v rámci Specflow.
Typ generované zprávy také do značné míry závisí na typu používaného testovacího běžce. K dispozici jsou bezplatné i placené varianty běžců, z nichž každý má své vlastní výhody a nevýhody.
Budeme diskutovat více o vytváření sestav pomocí kombinace NUnit jako testovací běžec a šablony hlášení Specflow pro generování zpráv HTML z výstupních testovacích souborů generovaných NUnit.
Co se naučíte:
Hlášení Specflow
Podívejte se na VIDEO: Podívejte se na video tutoriál Specflow Reporting
Generování protokolů o zkoušce - předpoklady
Před zahájením generování protokolu o zkoušce se ujistěte, že jsou k dispozici nebo nainstalovány všechny předpoklady.
Použijeme stejný testovací příklad vyhledávání na YouTube, který používá šablonu Specflow s testovacím běžecem NUnit. Chcete-li začít generovat sestavy, budete k provedení testů Specflow potřebovat konzolu NUnit.
Nainstalujte konzolu NUnit stažením souboru spustitelného balíčku pro Windows tady . Stáhněte si balíček MSI NUnit-Console -3.9.0 a dokončete instalaci NUnit Console krok za krokem spuštěním staženého souboru balíčku.
Po úspěšné instalaci byste měli vidět složku Nunit ve složce ProgramFiles.
Viz níže uvedený snímek obrazovky:
Generování sestavy Specflow funguje také s jinými rozhraními, jako je MSUnit, stejným způsobem jako NUnit.
Postup krok za krokem
# 1) Proveďte testy pomocí konzoly NUnit Console a vytvořte zprávu XML.
- Zkompilujte SpecflowProject ve Visual Studiu a zajistěte, aby nebyl vytvořen žádný soubor DLL projektu s chybami kompilace. Vytvořený soubor DLL by měl být k dispozici ve složce Debug / Release projektu Visual Studio.
- Nyní otevřete příkazový řádek a přejděte do základního umístění konzoly NUnit.
- Spuštěním následujícího příkazu proveďte testy Specflow.
Podívejme se nejprve na syntaxi:
nunit3-console.exe 'result={PathToReportLocation};format=nunit2' {SpecflowProjectDllPath}
Po provedení výše uvedeného příkazu uvidíte všechny své scénáře v souborech funkcí, které se mají začít spouštět. Po dokončení testu zajistěte, aby se výsledný soubor XML z provedení NUnit vygeneroval v umístění uvedeném v souboru výsledek parametr ve výše uvedeném příkazu.
Zde si také všimněte, že formát vygenerovaného přehledu, který máme, je vybrán jako „NUnit2“, protože aktuální verze Specflow nepodporuje NUnit 3. Jakmile bude tato podpora k dispozici, lze možnost formátu přehledu odebrat.
#dva) Nyní použijte aplikaci specflow.exe k vytvoření zprávy HTML.
Aplikace specflow.exe běží přes sestavu XML generovanou NUnit a generuje dobře vypadající sestavy HTML. specflow.exe je spustitelná aplikace přítomná ve složce balíčku npm projektu, kde byl nainstalován specflow.
Na níže uvedeném snímku obrazovky naleznete vyhledání spustitelného souboru Specflow.
Zpráva generovaná touto aplikací má formát HTML a obsahuje souhrn provedených scénářů seskupených podle funkcí.
Proveďte následující kroky a vygenerujte sestavu HTML ze sestavy XML, která se vygenerovala spuštěním konzoly NUnit.
- Otevřete příkazový řádek a přejděte do spustitelného souboru Specflow.
- Nyní spusťte příkaz s níže uvedenou syntaxí a vygenerujte zprávu HTML.
specflow.exe nunitexecutionreport --ProjectFile {PathToProjectSln.csproj} --xmlTestResult {PathToNUnitReportXml} --OutputFile {DesiredPathToGenerateHtmlReport}
- Jakmile výše uvedený příkaz dokončí provádění, zajistěte, aby se zpráva HTML generovala v zadaném umístění složky.
Pojďme otevřít vygenerovaný přehled a podívat se na různé sekce. Níže jsou zvýrazněny důležité části zobrazené ve zprávě.
Jak vidíte, výše uvedená zpráva je mnohem snadněji čitelná a interpretovatelná a je užitečná pro všechny zúčastněné strany projektu, aby získala přehled o celkovém souhrnu provádění testu.
Provádění selektivních testů
Velmi často musíte provést několik selektivních testů nebo podmnožinu celé testovací sady nebo testy označené některými speciálními kategoriemi. To vše je možné pomocí značek Specflow, které jsme viděli v našich předchozích článcích (které lze použít jak na úrovni funkcí, tak na úrovni scénářů).
Abychom tedy mohli provést jen podmnožinu testů, můžeme použít značky Specflow k označení / označení takových scénářů a při běhu přes běh konzoly NUnit lze kategorie uvést jako součást příkazu.
Podívejme se na postup postupného provádění selektivního testu:
# 1) Otevřete projekt Visual Studio a označme scénář / funkci, kterou chceme spustit selektivně pomocí značky / kategorie s názvem „selektivní“.
#dva) Zkompilujte řešení, aby došlo ke změnám, a vytvoří se nová knihovna DLL s aktualizovanými změnami.
# 3) Nyní otevřete příkazový řádek a podle pokynů výše proveďte testy pomocí konzolové aplikace NUnit.
# 4) Spustitelný soubor NUnit se podívá na testovací filtr a pokusí se vyhledat všechny testy odpovídající zadanému filtru. V našem případě se pokusí porovnat všechny funkce / scénáře s kategorií „selektivní“ a provést pouze tyto testy.
Protože jsme právě označili jeden scénář touto značkou, měli bychom očekávat, že testovací běžec NUnit provede pouze jeden test.
nunit3-console.exe '--result={PathToReportFile};format=nunit2' --where 'cat == selective' {PathToSpecflowSeleniumProjectDll}
Jak vidíte výše, zmínili jsme filtr jako „cat == selective“. Aplikace NUnit ji interpretuje jako filtr kategorií s hodnotou „selektivní“.
# 5) Po dokončení provádění výše uvedeného příkazu se na konzole zobrazí souhrn testu (stejně jako vygenerovaná sestava XML od NUnit).
# 6) Nyní z toho můžeme vytvořit zprávu HTML (podle pokynů ke generování HTML prostřednictvím spustitelného souboru Specflow). Takto bude vypadat vygenerovaný HTML.
Protože NUnit právě provedl jeden test, měla by vygenerovaná sestava HTML zobrazit pouze jednu funkci a jeden scénář.
Podívejme se, jak vypadá přehled HTML:
Závěr
V tomto kurzu jsme prozkoumali různé způsoby provádění testů funkcí Specflow spolu s generováním zpráv HTML prostřednictvím spustitelného souboru Specflow. Vygenerované zprávy jsou snadno čitelné a interpretovatelné a jsou užitečné pro všechny zúčastněné strany projektu.
Také jsme viděli techniky provádění podmnožiny testů spíše než celé sady testů prostřednictvím značek Specflow, což umožňuje NUnit hledat / filtrovat pro konkrétní scénáře a spouštět pouze ty, které odpovídají zadaným kritériím filtru.
Podívejte se na náš nadcházející výukový program a prozkoumejte Nejčastěji kladené dotazy k rozhovorům na Specflow!
co je dobrý poskytovatel e-mailu
Výukový program PREV | DALŠÍ výuka
Doporučené čtení
- Vytvořte živou dokumentaci s okurkami pro soubory funkcí Specflow
- Jak spravovat požadavky, provádět testovací případy a generovat zprávy pomocí TestLink - výuka # 2
- Průvodce generováním rozsahu zpráv v selenu WebDriver
- Vytvořte testy Appium pro aplikaci pro Android
- Krokové transformace argumentů a tabulky Specflow
- Jak paralelně provádět rozsáhlé provádění testů Appium
- Spouštění testů Appium paralelně pomocí Appium Studio pro Eclipse
- Výukový program Specflow: The Ultimate Guide to BDD Tool