Pravidla učení neuronových sítí - učení Perceptron a Hebbian

neural network learning rules perceptron hebbian learning

Tento podrobný výukový program týkající se pravidel učení neuronových sítí vysvětluje hebbické učení a algoritmus učení perceptronu s příklady:

jak odebrat prvek z pole java

V našem předchozím tutoriálu jsme diskutovali o Umělá neuronová síť což je architektura velkého počtu vzájemně propojených prvků zvaných neurony.

Tyto neurony zpracovávají přijímaný vstup, aby poskytly požadovaný výstup. Uzly nebo neurony jsou spojeny vstupy, váhami připojení a aktivačními funkcemi.

Hlavní charakteristikou neuronové sítě je její schopnost učit se. Neuronové sítě se cvičí na známých příkladech. Jakmile je síť proškolena, lze ji použít k řešení neznámých hodnot problému.

=> Přečtěte si celou sérii školení o strojovém učení

Neuronová síť se učí prostřednictvím různých vzdělávacích programů, které jsou kategorizovány jako učení pod dohledem nebo bez dozoru.

V algoritmech učení pod dohledem jsou cílové hodnoty známé síti. Snaží se snížit chybu mezi požadovaným výstupem (cílem) a skutečným výstupem pro optimální výkon. V algoritmech učení bez dozoru jsou cílové hodnoty neznámé a síť se učí sama identifikací skrytých vzorů na vstupu vytvořením klastrů atd.

ANN se skládá ze 3 částí, tj. Vstupní, skryté vrstvy a výstupní vrstvy. K dispozici je jedna vstupní vrstva a výstupní vrstva, zatímco v síti nemusí být žádná skrytá vrstva nebo 1 nebo více skrytých vrstev. Na základě této struktury je ANN klasifikován do jedné vrstvy, vícevrstvé, dopředné nebo opakující se sítě.

Co se naučíte:

• Důležitá terminologie ANN
• Porovnání pravidel učení neuronových sítí
  • Klasifikace algoritmů učení pod dohledem
    • # 1) Gradient Descent Learning
    • # 2) Stochastické učení
  • Klasifikace nekontrolovaných učebních algoritmů
    • # 1) Hebbian Learning
    • # 2) Konkurenční učení
  • Mc Culloch-Pitts Neuron
  • Hebbian Learning Algorithm
    • Příklad hebbického pravidla učení
  • Algoritmus učení Perceptron
    • Příklad pravidla učení Perceptron
  • Widrow Hoff Algoritmus učení
• Závěr
  • Doporučené čtení

Důležitá terminologie ANN

Než klasifikujeme různá pravidla učení v ANN, pochopíme některé důležité terminologie související s ANN.

# 1) Váhy: V ANN je každý neuron spojen s ostatními neurony spojovacími spoji. Tyto odkazy nesou váhu. Váha obsahuje informace o vstupním signálu do neuronu. Váhy a vstupní signál se používají k získání výstupu. Váhy lze označit ve formě matice, která se také nazývá matice připojení.

Každý neuron je spojen s každým dalším neuronem další vrstvy prostřednictvím váh připojení. Pokud tedy existují uzly „n“ a každý uzel má „m“ váhy, pak váhová matice bude:

W1 představuje váhový vektor vycházející z uzlu 1. W11 představuje váhový vektor z 1^Svatýuzel předchozí vrstvy do 1^Svatýuzel další vrstvy. Podobně wij představuje váhový vektor od „i-tého“ prvku zpracování (neuronu) po „j-tý“ prvek zpracování další vrstvy.

# 2) Bias : Předpětí je přidáno do sítě přidáním vstupního prvku x (b) = 1 do vstupního vektoru. Předpětí také nese váhu označenou w (b).

Předpětí hraje důležitou roli při výpočtu výstupu neuronu. Předpětí může být pozitivní nebo negativní. Kladná odchylka zvyšuje čistou váhu vstupu, zatímco záporná odchylka snižuje čistý vstup.

# 3) Prahová hodnota: V aktivační funkci se používá prahová hodnota. Čistý vstup se porovná s prahovou hodnotou, aby se získal výstup. V NN je aktivační funkce definována na základě prahové hodnoty a je vypočítán výstup.

Prahová hodnota je:

# 4) Rychlost učení : Je označeno alfou? Rychlost učení se pohybuje od 0 do 1. Používá se k úpravě hmotnosti během procesu učení NN.

# 5) Faktor hybnosti : Přidává se pro rychlejší konvergenci výsledků. Faktor hybnosti se přidává k hmotnosti a obvykle se používá v sítích zpětného šíření.

Porovnání pravidel učení neuronových sítí

Klasifikace různých typů učení ANN je uvedena níže.

Klasifikace algoritmů učení pod dohledem

1. Přechodový sestup
2. Stochastický

# 1) Gradient Descent Learning

U tohoto typu učení dochází k redukci chyb pomocí vah a aktivační funkce sítě. Aktivační funkce by měla být rozlišitelná.

Úprava vah závisí na chybovém gradientu E v tomto učení. Pravidlo backpropagation je příkladem tohoto typu učení. Nastavení hmotnosti je tedy definováno jako

# 2) Stochastické učení

V tomto učení se váhy upravují pravděpodobnostním způsobem.

Klasifikace nekontrolovaných učebních algoritmů

1. Hebština
2. Konkurenční

# 1) Hebbian Learning

Toto učení navrhl Hebb v roce 1949. Je založeno na korelační úpravě vah. Páry vstupních a výstupních vzorů jsou spojeny s váhovou maticí, W.

Transpozice výstupu je provedena pro úpravu hmotnosti.

# 2) Konkurenční učení

Je to vítěz bere veškerou strategii. V tomto typu učení, když je do sítě odeslán vstupní vzor, ​​všechny neurony ve vrstvě soutěží a pouze vítězné neurony mají úpravy hmotnosti.

Mc Culloch-Pitts Neuron

Toto je také známé jako M-P Neuron. Jedná se o nejstarší neuronovou síť, která byla objevena v roce 1943. V tomto modelu jsou neurony spojeny váhami připojení a aktivační funkce je použita v binárním formátu. Prahová hodnota se používá k určení, zda bude neuron střílet nebo ne.

Funkce neuronu MP je:

Hebbian Learning Algorithm

Hebb Network uvedl Donald Hebb v roce 1949. Podle Hebbova pravidla se váhy váží úměrně k produktu vstupu a výstupu. To znamená, že v Hebbově síti, pokud jsou dva neurony vzájemně propojeny, lze váhy spojené s těmito neurony zvýšit změnami v synaptické mezeře.

Tato síť je vhodná pro bipolární data. Hebbské pravidlo učení se obecně aplikuje na logické brány.

Váhy jsou aktualizovány jako:

W (nový) = w (starý) + x * y

Výcvikový algoritmus pro hebbické pravidlo učení

Kroky tréninku algoritmu jsou následující:

• Zpočátku jsou váhy nastaveny na nulu, tj. W = 0 pro všechny vstupy i = 1 až n an je celkový počet vstupních neuronů.
• Nechť s je výstup. Aktivační funkce pro vstupy je obecně nastavena jako funkce identity.
• Aktivační funkce pro výstup je také nastavena na y = t.
• Úpravy hmotnosti a předpětí jsou upraveny na:

• Kroky 2 až 4 se opakují pro každý vstupní vektor a výstup.

Příklad hebbického pravidla učení

Implementujme logickou funkci AND s bipolárními vstupy pomocí Hebbian Learning

X1 a X2 jsou vstupy, b je zkreslení považováno za 1, cílová hodnota je výstup logické operace AND přes vstupy.

# 1) Zpočátku jsou váhy nastaveny na nulu a zkreslení je také nastaveno na nulu.

W1 = w2 = b = 0

#dva) První vstupní vektor je považován za (x1 x2 b) = (1 1 1) a cílová hodnota je 1.

Nové váhy budou:

# 3) Výše uvedené váhy jsou konečné nové váhy. Když je předán druhý vstup, stanou se z nich počáteční váhy.

# 4) Vezměte druhý vstup = (1 -1 1). Cíl je -1.

# 5) Podobně se počítají další vstupy a váhy.

V následující tabulce jsou uvedeny všechny vstupy:

Hebb Net pro funkci AND

Algoritmus učení Perceptron

Sítě Perceptron jsou jednovrstvé dopředné sítě. Nazývají se také Single Perceptron Networks. Perceptron se skládá ze vstupní vrstvy, skryté vrstvy a výstupní vrstvy.

Vstupní vrstva je spojena se skrytou vrstvou prostřednictvím vah, která mohou být inhibiční nebo vzrušující nebo nulová (-1, +1 nebo 0). Použitou aktivační funkcí je funkce binárního kroku pro vstupní vrstvu a skrytou vrstvu.

Výstup je

Y = f (y)

Aktivační funkce je:

Aktualizace hmotnosti probíhá mezi skrytou vrstvou a výstupní vrstvou, aby odpovídala cílovému výstupu. Chyba se počítá na základě skutečného výstupu a požadovaného výkonu.

Pokud výstup odpovídá cíli, nedojde k žádné aktualizaci hmotnosti. Váhy jsou zpočátku nastaveny na 0 nebo 1 a postupně se upravují, dokud není nalezeno optimální řešení.

Váhy v síti lze zpočátku nastavit na libovolné hodnoty. Učení Perceptronu bude konvergovat na váhový vektor, který poskytuje správný výstup pro všechny vstupní tréninkové vzorce a toto učení se děje v konečném počtu kroků.

Pravidlo Perceptron lze použít pro binární i bipolární vstupy.

Pravidlo učení pro jeden výstup Perceptron

mobilní testovací otázky a odpovědi pro zkušené

# 1) Nechť existuje „n“ cvičných vstupních vektorů a x (n) at (n) jsou spojeny s cílovými hodnotami.

#dva) Inicializujte váhy a zkreslení. Nastavte je na nulu pro snadný výpočet.

# 3) Nechť rychlost učení je 1.

# 4) Vstupní vrstva má funkci aktivace identity, takže x (i) = s (i).

# 5) Výpočet výkonu sítě:

# 6) Aktivační funkce se aplikuje přes síťový vstup, aby se získal výstup.

# 7) Nyní na základě výstupu porovnejte požadovanou cílovou hodnotu (t) a skutečný výstup.

# 8) Pokračujte v iteraci, dokud nedojde ke změně hmotnosti. Jakmile je této podmínky dosaženo, zastavte se.

Učící se pravidlo pro více výstupů Perceptron

# 1) Nechť existuje „n“ cvičných vstupních vektorů a x (n) at (n) jsou spojeny s cílovými hodnotami.

#dva) Inicializujte váhy a zkreslení. Nastavte je na nulu pro snadný výpočet.

# 3) Nechť rychlost učení je 1.

# 4) Vstupní vrstva má funkci aktivace identity, takže x (i) = s (i).

Otázky rozhovoru založené na scénáři serveru SQL

# 5) Pro výpočet výstupu každého výstupního vektoru od j = 1 do m je čistý vstup:

# 6) Aktivační funkce se aplikuje přes síťový vstup, aby se získal výstup.

# 7) Nyní na základě výstupu porovnejte požadovanou cílovou hodnotu (t) a skutečný výkon a proveďte úpravy hmotnosti.

w je váhový vektor spojovacích vazeb mezi i-tým vstupním a j-tým výstupním neuronem a t je cílový výstup pro výstupní jednotku j.

# 8) Pokračujte v iteraci, dokud nedojde ke změně hmotnosti. Jakmile je této podmínky dosaženo, zastavte se.

Příklad pravidla učení Perceptron

Implementace funkce AND pomocí sítě Perceptron pro bipolární vstupy a výstupy.

Vstupní vzor bude x1, x2 a zkreslení b. Počáteční váhy musí být 0 a odchylka 0. Prahová hodnota je nastavena na nulu a rychlost učení je 1.

A brána

# 1) X1 = 1, X2 = 1 a cílový výstup = 1
W1 = w2 = wb = 0 a x1 = x2 = b = 1, t = 1
Čistý vstup = y = b + x1 * w1 + x2 * w2 = 0 + 1 * 0 + 1 * 0 = 0

Protože prahová hodnota je tedy nula:

Odtud dostaneme, výstup = 0. Nyní zkontrolujte, zda výstup (y) = cíl (t).

y = 0, ale t = 1, což znamená, že nejsou stejné, proto dochází k aktualizaci hmotnosti.

Nové váhy jsou 1, 1 a 1 po zobrazení prvního vstupního vektoru.

#dva) X1 = 1 X2 = -1, b = 1 a cíl = -1, W1 = 1, W2 = 2, Wb = 1
Čistý vstup = y = b + x1 * w1 + x2 * w2 = 1 + 1 * 1 + (-1) * 1 = 1
Čistý výstup pro vstup = 1 bude 1 z:

Proto opět target = -1 neodpovídá skutečnému výstupu = 1. Probíhá aktualizace hmotnosti.

Nyní jsou nové váhy w1 = 0 w2 = 2 a wb = 0

Podobně pokračováním další sady vstupů získáme následující tabulku:

EPOCHS jsou cyklus vstupních vzorů přiváděných do systému, dokud není vyžadována žádná změna hmotnosti a iterace se zastaví.

Widrow Hoff Algoritmus učení

Také známý jako Pravidlo Delta , následuje pravidlo sestupu gradientu pro lineární regrese.

Aktualizuje váhy připojení s rozdílem mezi cílovou a výstupní hodnotou. Jedná se o nejméně průměrný čtvercový algoritmus učení spadající do kategorie supervizovaného algoritmu učení.

Za tímto pravidlem následují ADALINE (Adaptive Linear Neural Networks) a MADALINE. Na rozdíl od Perceptronu se iterace sítí Adaline nezastaví, ale konverguje snížením nejméně průměrné čtvercové chyby. MADALINE je síť více než jednoho ADALINE.

Motivem pravidla delta learning je minimalizovat chybu mezi výstupem a cílovým vektorem.

Váhy v sítích ADALINE jsou aktualizovány:

Nejméně střední kvadratická chyba = (t- y_v)^dva, ADALINE konverguje, když je dosaženo nejmenší střední kvadratické chyby.

Závěr

V tomto tutoriálu jsme probrali dva algoritmy, tj. Hebbian Learning Rule a Perceptron Learning Rule. Hebbovo pravidlo je založeno na pravidle, že váhový vektor se zvyšuje úměrně se vstupním a učícím se signálem, tj. Výstupem. Váhy se zvyšují přidáním součinu vstupu a výstupu ke staré váze.

W (nový) = w (starý) + x * y

Uplatňování pravidel Hebb spočívá v problémech s asociací, klasifikací a kategorizací vzorců.

Pravidlo učení Perceptron lze aplikovat na síť s jedním výstupem i více výstupních tříd. Cílem perceptronové sítě je klasifikace vstupního vzoru do konkrétní členské třídy. Vstupní neurony a výstupní neuron jsou spojeny prostřednictvím vazeb majících váhy.

Váhy jsou upraveny tak, aby odpovídaly skutečnému výstupu s cílovou hodnotou. Rychlost učení je nastavena od 0 do 1 a určuje škálovatelnost vah.

Váhy se aktualizují podle:

Kromě těchto pravidel učení se algoritmy strojového učení učí prostřednictvím mnoha dalších metod, tj. Supervised, Unsupervised, Reinforcement. Některé z dalších běžných ML algoritmů jsou Back Propagation, ART, Kohonen Self Organizing Maps atd.

Doufáme, že jste si užili všechny výukové programy z této série Machine Learning !!

=> Navštivte zde exkluzivní sérii strojového učení

Doporučené čtení

• Kompletní průvodce umělou neuronovou sítí ve strojovém učení
• Druhy strojového učení: Supervised Vs Unsupervised Learning
• Data Mining vs. Machine Learning vs. Artificial Intelligence vs. Deep Learning
• Testování zabezpečení sítě a nejlepší nástroje pro zabezpečení sítě
• 11 nejpopulárnějších softwarových nástrojů pro strojové učení v roce 2021
• Výukový program pro strojové učení: Úvod do ML a jeho aplikací
• 15 nejlepších nástrojů pro síťové skenování (síťový a IP skener) z roku 2021
• Top 30 nástrojů pro testování sítě (nástroje pro diagnostiku výkonu sítě)