Zjednodušené testování více proměnných a testování A / B: Jak testovat techniky optimalizace webových stránek

multivariate testing

Úvod:

Existuje mnoho webových stránek a aplikací, které často používáme. I když je používáme, pravděpodobně nevěnujeme velkou pozornost tomu, jak se web stal jeho aktuální verzí - na druhou stranu, pokud se něco nezdá v pořádku, web / aplikaci pravděpodobně nikdy nenavštívíme.

Otázka zní - Co je potřeba, aby bylo „to“ správné?

Co se naučíte:

• Testování více proměnných a testování A / B
• Co je testování s více proměnnými?
• Typy testování MVT:
• Jak provádět testování s více proměnnými
• Chyby, kterým je třeba se vyhnout
• Pro a proti
• Výhody a nevýhody
• A / B testování
• Výhody a nevýhody A / B testů:
• Testování A / B vs Testování více proměnných vs Testování rozdělení
• Vícerozměrné testování
• Nástroje pro testování A / B / Split / Multivariate
• Doporučené čtení

Testování více proměnných a testování A / B

„To“ je nejčastěji funkčnost - kterou máme k testování a vyhodnocení pevné QA procesy. Ale také „to“ skládá se z designu, kombinace prvků, umístění obsahu na stránku, někdy dokonce barvy, orientace atd., které hrají významnou roli v celkové přijetí produktu jeho koncovým uživatelem.

Odvětví testování, které může v této oblasti hodně pomoci, je Testování více proměnných a testování A / B .

V dnešním článku budeme diskutovat Testování s více proměnnými (MVT) a A / B testování typy podrobně.

Oba tyto nástroje jsou zaměřeny na optimalizaci webových stránek a zlepšení konverzního poměru (rychlost, při které se návštěvníci stávají zákazníky nebo vracejícími se návštěvníky - opět podnikání) pro web.

Co je testování s více proměnnými?

Začněme s Příklad .

Pokud určitý web pracuje na navrhování / redesignu / určování účinnosti stránky, která by měla mít obrázek a odpovídající text - Po pečlivém zvážení a zvážení, pokud společnost vybere následující dva obrázky a dvě věty - jejich možné kombinace být následující:

1) Obrázek 1

2) Obrázek 2

3) Nadpis / věta 1: „Cíl musí být NULA nehody“

4) Nadpis / věta 2: 'Náš cíl: BEZ NEHODY'

Kombinace:

Ve výše uvedeném příkladu jsme testovali varianty kombinací polí, abychom zjistili, které z nich je vhodné. Jednoduše řečeno, právě tam je testování s více proměnnými.

Techničtěji a konkrétněji se níže uvedený vzorec používá k určení počtu. možných kombinací, které jsou nutné k testování různých kombinací, a to je:

(# Variace na prvek A) X (# Variace na prvek B)… .. = (Celkem # variací)

Ve výše uvedeném příkladu existují 2 varianty pro nadpis a 2 varianty pro obrázek.

Podle vzorce tedy existují celkem 4 kombinace variant, které se mají testovat současně, aby se našla nejlepší kombinace variant.

• Hlavním cílem provádění testování s více proměnnými je měřit a určovat účinnost každé kombinace variací v konečném systému.
• Po dokončení kombinací variací se zahájí testování k určení nejúspěšnějšího návrhu, jakmile web přijme dostatečný provoz.
• Výsledky získané s každou kombinací variací se porovnávají s ostatními, aby se zjistilo, který design je nejvhodnější pro dosažení konečného cíle (ve většině případů Odbyt ).
• Tyto statistiky poskytují jasný obraz o tom, zda byla konkrétní změna užitečná nebo ne.
• Rovněž lze analyzovat pozitivní nebo negativní dopad na interakci uživatele

Celý tento proces nepřetržitého testování s více proměnnými, zlepšování designu na základě získaných výsledků a dosažení obchodních cílů díky tomu ( Příklad: delší doba zapojení pro uživatele na určité stránce) Optimalizace cílové stránky - jehož cílem je přilákat více uživatelů a udržet je na určité stránce v záběru.

Tento proces do značné míry zahrnuje testování s více variantami, shromažďování statistik a provádění změn na základě získaných hodnot / výsledků.

Nejen omezeno na webové stránky, ale testování více proměnných je vyžadováno také pro mobilní aplikace. Webové stránky a mobilní aplikace se skládají z kombinací variabilních prvků, a proto se provádí testování více proměnných, aby se zjistilo, která kombinace variací funguje nejlépe.

To hraje zásadní roli ve strategii internetového marketingu.

Typy testování MVT:

Na základě distribuce provozu do více variant variant existují násobek typy testování s více proměnnými které lze provést:

a) Úplné faktoriální testování:

Jedná se o nejpreferovanější formu testování MVT, při které se testuje každá možná kombinace variant prvků rovnoměrným přesměrováním provozu webu na něj, dokud není nalezen vítěz. Všechny možné kombinace mají stejnou pravděpodobnost. Nejlepší na této metodě je, že neexistují žádné předpoklady a je založena na tvrdých číslech / statistikách, což ji činí velmi spolehlivou a nejvíce doporučenou.

Jedinou nevýhodou je provoz. S nárůstem počtu různých kombinací je k analýze dat a rozhodování o vítězi zapotřebí hodně provozu na webu.

b) Frakční nebo částečné faktoriální testování:

Jak název naznačuje, pouze zlomek všech verzí kombinací variant je vystaven provozu na webu. U zbývajících kombinací se provádějí statické matematické výpočty a analýza, aby se našel nejlepší přepočítací koeficient.

Taguchi metoda je nejpopulárnější metoda pro frakční faktoriální testování více proměnných. Tato metoda poskytuje méně přesný výsledek, protože je testován pouze vzorek variant, a ne všechny. Ačkoli tato metoda trvá méně času na analýzu vítěze, výsledek nelze nikdy považovat za tak přesný, jaký může být v případě testování Full Factorial.

c) Adaptivní testování více proměnných:

Jedná se o nový přístup k testování s více proměnnými. V tomto případě se analyzuje odezva návštěvníků na webové stránce v reálném čase, aby se určila nejlepší verze kombinace variant.

d) Diskrétní volba:

Tato metoda odhaluje interakční efekty, řekněme, jak lidé vytvářejí kompromis z pohledu rozhodnutí o koupi. Jedná se o složitou techniku, která systematicky mění atributy nebo prvky obsahu.

e) Optimální design:

Tato metoda zahrnuje iterace a vlnu testování. Kromě testování maximálního počtu variací kreativ v minimálním čase také umožňuje marketingovým pracovníkům zvážit vztahy, interakce a omezení napříč obsahovými prvky webu nebo aplikace. To pomáhá při hledání optimálního řešení.

Pojďme dále k důležité otázce: Lze webový marketing optimalizovat testováním s více proměnnými?

Odpověď zní jednoznačně „Ano“.

Pomocí testování s více proměnnými můžeme jasně určit, co by mělo být implementováno a čeho je třeba se vyvarovat. Vše je zaměřeno na zážitek návštěvníka.

Při provádění vícerozměrného testování je třeba vzít v úvahu následující aspekty:

# 1. Předpokladem pro testování s více proměnnými je: Definujte marketingové cíle nebo prozkoumejte cíle webu. Níže uvádíme několik příkladů:

• Vydělávejte maximální výnosy / zisky prostřednictvím reklamy, prodeje produktů, placení za kliknutí.
• Vytvářejte povědomí o značce v klientele
• Ušetřete výdaje - např.: Proveďte uživatele pomocí samoobslužných služeb prostřednictvím samoobslužných služeb místo online v osobních službách.

#dva. Měly by být testovány pouze ty věci, které skutečně cílí na marketingové cíle organizace.

# 3. Vyberte pouze ty prvky, které přesně změří marketingové cíle.

Příklady mohou být:

• Abychom vydělali více peněz, je třeba se zaměřit na stránky, které obsahují možnosti jako „Koupit“ / „platba“ / toky k dokončení registrace nebo registrace.
• K vytvoření povědomí návštěvníků a propagace může přijít vhod „poslat příteli“ / „doporučit příteli“ / „sdílet“ atd.
• Z hlediska úspor by se mohlo zaměřit na prvky, jako jsou časté dotazy, pomoc, kontakt, volání, kliknutí „Přidat do košíku“, která vedou na stránky s poděkováním atd.

Jak provádět testování s více proměnnými

1. Zjistěte problém

Prvním krokem je identifikace problému. Získáte tak rozsah vylepšení pro svůj web nebo aplikaci. Problém může být například v tom, proč návštěvníci webových stránek neklikají na tlačítko pro stažení.

2. Formulujte hypotézu

Vytvořte hypotézu o zdokonalení webové stránky. Například hypotézou může být, že zákazníci neklikají na tlačítko stahování, protože jeho viditelnost není lákavá. Díky přitažlivosti by tedy došlo ke zvýšenému stahování.

3. Vytvořte variace

Vyberte faktory a vytvořte varianty. Předpokládejme, že dva faktory jsou záhlaví „Stažení“ a odkaz „Producent PDF“. Jako příklad máme méně než 12 variant:

4. Určete velikost svého vzorku

Zjistěte, kolik návštěvníků je na každé stránce požadováno, jak dlouho musíte test spustit, kolik variant máte a statistickou významnost.

5. Vyzkoušejte své nástroje

Než začnete testovat, otestujte vše (hlavně to, zda vaše webová stránka / aplikace funguje dobře), aby výsledky vašich testů nebyly nijak jedovaté.

6. Začněte řídit provoz

Začněte řídit provoz podle svých variací.

7. Analyzujte své výsledky

Po provedení testu po značnou dobu získáte výsledky k analýze. Níže je uveden příklad:

Ty, které mají 95% nebo více úrovně spolehlivosti, jsou statisticky významné výsledky.

8. Poučte se ze svých výsledků

Toto je poslední a důležitý krok. Z testu s více proměnnými se dozvíte o svých webových stránkách / aplikaci a jejích návštěvnících. Toto učení můžete použít pro budoucí testy.

Slovo opatrnosti - Při provádění testování s více proměnnými dávejte pozor na následující věci:

Chyby, kterým je třeba se vyhnout

1. Nesprávný výběr variant . Například Předpokládejme, že změníme velikost písma, barvu a styl textu nadpisu současně pod jednou verzí kombinace variant. Poté bude obtížné z přijatých dat analyzovat, o které variantě nadpisu (ať už velikosti písma, barvy nebo stylu) návštěvník reagoval odlišně.
2. Příliš krátký rozsah testovacího běhu s více proměnnými . Předčasné ukončení testovacího běhu a výběr malého rozsahu dat k analýze vítěze může vést k neplatným statistikám.
3. Příliš dlouhé rozpětí testovacího běhu s více proměnnými. Spuštění testu příliš dlouho na to, aby bylo možné analyzovat mezní údaje, také vede k velkému plýtvání časem
4. Špatné pochopení klíčových indikátorů. Zaměření, analýza a sledování variabilní kombinace těch indikátorů, které jsou nevýznamné nebo nesouvisí s konečným cílem
5. Pouze několik klíčových ukazatelů výkonu jsou identifikovány, zatímco mnoho dalších není sledováno
6. Rozhodování o typu provozu návštěvníka na webovou stránku. To může být velmi riskantní a problematické, protože ne všichni návštěvníci jsou stejní.
7. Ne analyzování výsledků a provádět správné změny na webu.

Dělat a nedělat

Z výše uvedeného seznamu je souhrn pro a proti mohlo by být:

Nedělá:

Nepokoušejte se do testu zahrnout mnoho proměnných. Čím více testovaných proměnných; tím větší budou kombinace, což zase znamená, že pro shromáždění významných statistik je zapotřebí větší provoz.

Udělat:

1. Zobrazte náhled všech verzí kombinací variant před zahájením zkušebního provozu, protože některé z nich mohou být nekompatibilní nebo nelogické. Například jedna z kombinací proměnných je v nadpisu, který říká „50% sleva na předplatné“, a na vypínacím tlačítku s názvem „Předplatné zdarma“. Takové by měly být odstraněny.

2. Rozhodněte o dopadu kombinačních verzí na přepočítací koeficient. Zahrnutí pouze těch kombinací, které mají větší dopad na konverzní poměr, je dobrý nápad.

3. Odhadněte provoz webové stránky, abyste získali významná statistická data. Před zahájením zkušebního provozu je lepší mít jasnou představu o provozu webové stránky. Pokud má webová stránka pouze 100–200 návštěvníků denně, měli bychom vzít v úvahu několik proměnných pouze pro provedení testu s více proměnnými.

Výhody a nevýhody

Dosud jsme viděli, co je testování s více proměnnými, jak se to dělá, chyby, faktory, co dělat a nedělat atd. Nyní se podívejme na některé Profesionálové a Nevýhody z toho:

tcp ip rozhovor otázky a odpovědi pdf

Profesionálové:

1. Lepší vhled a pochopení vlivu proměnných nebo prvků na míru konverze Více provozu vede k více statistickým datům, což zase vede k lepší analýze a rozhodování, pokud jde o nejlepší kombinaci proměnných k dosažení konečného cíle.
2. Z hlediska změn designu a rozvržení je testování s více proměnnými flexibilní.

Nevýhody:

1. Testování více proměnných trvá déle.
2. K získání významných statistik je zapotřebí spousta provozu webových stránek.
3. Složitější je nastavení zkušebních běhů.
4. Vyžaduje větší počet verzí variabilní kombinace pro zkušební provoz.

A / B testování

Vzhledem k tomu, že jde o krátký seznam všech věcí Multivariantního testování, není konec řady testů, které lze provést k provedení optimalizace webových stránek, a další dostupnou dostupnou metodou je A / B testování .

Co je testování A / B?

( obraz zdroj)

A / B testování je také někdy známé jako Rozdělené testování . Rozdělení testování je však jiné. Rozdíl mezi nimi uvidíme v další části tohoto tutoriálu.

Při testování A / B jsou testovány dvě verze stejné webové stránky se stejným objemem provozu webové stránky. Verze, která získá maximální počet konverzí, je konečným vítězem. Tato nová verze rozhodně zvyšuje míru konverze.

Příklad testování rozdělení A / B:

Pojďme to pochopit fungování A / B testování s malým příkladem :

Obrázek nahoře je webové stránky pro zvyšování povědomí o bezpečnosti.

Tento obrázek se skládá ze šedého tlačítka s nápisem „ Vyplňte kvíz a vyhrajte vzrušující ceny “. Tato původní webová stránka je považována za„ verzi “. Nyní je verze „B“ navržena s barevnou variací tlačítka od šedé po červenou.

To je znázorněno na obrázku níže:

Živý provoz webové stránky je přesměrován na obě verze. Po provedení dostatečného počtu návštěvníků a po obdržení statistických údajů lze snadno určit, která verze má vyšší vliv na míru konverze.

Zde ve výše uvedeném příkladu tlačítko s nápisem „ Vyplňte kvíz a vyhrajte vzrušující ceny „V červené barvě přilákalo více návštěvníků, aby klikli na tlačítko a absolvovali kvíz než starší šedé tlačítko.

Bylo tedy dosaženo konečného cíle webové stránky zvýšit více výnosů.

Profesionálové a Nevýhody A / B testů:

Profesionálové:

1. Snadná a jednoduchá metoda nastavení experimentů pro optimalizaci webových stránek.
2. Spolehlivé a přesné výsledky lze snadno určit i při malém provozu webových stránek.
3. Testy lze provádět velmi rychle a statistické údaje lze analyzovat, aby bylo dosaženo konečného cíle.
4. Není příliš závislé na žádné formě technologie.
5. Vhodnější pro změny v rozvržení, obsahu, designu jakékoli webové stránky.

Nevýhody:

1. Na webové stránce lze provést pouze několik změn, nebo jen omezený počet.
2. Nelze určit vzájemný dopad různých proměnných přítomných na webové stránce.

Srovnávací tabulka:

Testování A / B vs Testování více proměnných vs Testování rozdělení

Testování A / B, testování s více proměnnými a testování s rozdělením jsou tři hlavní typy testování variant UX (uživatelská zkušenost). Podívejme se, jak se od sebe liší.

Níže uvedené dva obrázky poskytují velmi dobré ilustrativní srovnání mezi testováním A / B a multivariačním testováním.

Vícerozměrné testování

Split testování:

Máme zde další variantu známou jako testování rozdělené adresy URL, která je mnohem složitější než testování A / B a zahrnuje změny na straně serveru , kde máme dvě různé webové stránky, které jsou testovány proti sobě. Tento typ testování funguje dobře pro vstupní stránky v případech, kdy se návrhový tým musí rozhodnout, který z nich bude fungovat lépe.

Nástroje pro testování A / B / Split / Multivariate

Na trhu existuje mnoho nástrojů pro tyto tři typy testování UX. Zde bych jmenoval několik nejlepších, které můžete prozkoumat. Jsou to Google Optimize, Optimizely, VMO, Qubit, Maxymiser a AB Tasty.

Závěr :

Obě metody, A / B a testování s více proměnnými, zvyšují míru konverze, zlepšují výkon a optimalizují webové stránky a aplikace. Oba jsou svým způsobem užitečné a přicházejí se svými jedinečnými nedostatky a výzvami - je na nás, abychom identifikovali a analyzovali, která metoda bude nejlépe vyhovovat požadavku.

My, testeři, jsme zapojeni hlavně do testování změn provedených při implementaci testů s více proměnnými nebo A / B. Jakmile jsou tyto změny provedeny a otestovány, mohou být spuštěny v produkčním prostředí marketingovým nebo obchodním týmem a shromážděny výsledky.

Je tedy velmi důležité, aby testeři tyto změny velmi pečlivě testovali, jinak by konečné výsledky byly nepřesné, což by vedlo k velkým obchodním ztrátám, protože to většinou souvisí přímo s obchodními výnosy.

Doporučené čtení

• Nejlepší nástroje pro testování softwaru 2021 (QA Test Automation Tools)
• Testování stahování e-knih Primer
• Statické testování a dynamické testování - rozdíl mezi těmito dvěma důležitými testovacími technikami
• Testování zátěže s výukovými programy HP LoadRunner
• Rozdíl mezi stolním počítačem, klientským serverem a webovým testováním
• Co je to gama testování? Fáze závěrečného testování
• Co je testování shody (testování shody)?
• Úloha pomocníka QA při testování softwaru