aktivační funkce jsou nejdůležitější součástí jakékoli neuronové sítě v hlubokém učení. V hlubokém učení jsou velmi komplikovanými úkoly klasifikace obrazu, transformace jazyka, detekce objektů atd., které je třeba řešit pomocí neuronových sítí a aktivační funkce. Takže bez ní jsou tyto úkoly extrémně složité.

stručně řečeno, neuronová síť je velmi silná technika ve strojovém učení, která v podstatě napodobuje, jak mozek rozumí, jak? Mozek přijímá podněty jako vstup z prostředí, zpracovává je a poté podle toho produkuje výstup.

Úvod

neuronové sítě aktivační funkce, obecně, jsou nejvýznamnější složkou Hluboké Učení, jsou v zásadě používány pro určení výstupní hluboké modely učení, jeho přesnost, výkon a účinnost školení model, který může navrhnout nebo rozdělit velký rozsah neuronové sítě.

aktivační funkce zanechaly značné účinky na schopnost neuronových sítí konvergovat a konvergovat rychlost, nechcete jak? Pokračujme úvodem do aktivační funkce, typy aktivačních funkcí & jejich význam a omezení prostřednictvím tohoto blogu.

jaká je aktivační funkce?

aktivační funkce definuje výstup vstupu nebo množinu vstupů nebo jinými pojmy definuje uzel výstupu uzlu, který je uveden ve vstupech. V podstatě se rozhodnou deaktivovat neurony nebo je aktivovat, aby získali požadovaný výstup. Provádí také nelineární transformaci na vstupu, aby získal lepší výsledky na komplexní neuronové síti.

aktivační funkce také pomáhá normalizovat výstup libovolného vstupu v rozmezí od 1 do -1. Aktivační funkce musí být účinná a měla by zkrátit dobu výpočtu, protože neuronová síť někdy trénuje na milionech datových bodů.

aktivační funkce v podstatě rozhoduje v jakékoli neuronové síti, že daný vstup nebo příjem informací je relevantní nebo je irelevantní. Vezměme si příklad, abychom lépe porozuměli tomu, co je neuron a jak aktivační funkce omezuje výstupní hodnotu na určitý limit.

neuron je v podstatě je vážený průměr vstupu, pak tento součet prochází aktivační funkcí, aby získal výstup.

Tady může být cokoliv, pro neuron mezi rozsahem -nekonečna do +nekonečna. Takže musíme vázat náš výstup, abychom získali požadovanou předpověď nebo zobecněné výsledky.

Tak jsme se projít, že neuron aktivační funkce vázán výstupní hodnoty.

proč potřebujeme aktivační funkce?

Bez aktivace funkce, hmotnost a zaujatost, jen by to lineární transformace, nebo neuronové sítě je jen lineární regresní model, lineární rovnice je polynom o stupeň pouze, což je jednoduché vyřešit, ale omezený, pokud jde o schopnost řešit složité problémy nebo vyšší stupeň polynomů.

Ale naproti tomu, přidání aktivační funkce pro neuronové sítě provádí nelineární transformace vstupní a aby byl schopný řešit složité problémy, jako jsou jazykové překlady a klasifikace obrazu.

kromě toho, Aktivace funkce jsou diferencovatelné, díky které mohou snadno implementovat zpět propagations, optimalizované strategie při provádění backpropagations k měření gradientu ztráta funkce v neuronové sítě.

Typy Aktivační Funkce

nejznámější aktivační funkce jsou uvedeny níže,

1. Binární krok

2. Lineární

3. ReLU

4. LeakyReLU

5. Esovité

6. Tanh

7. Softmax

1. Binary Step Activation Function

tato aktivační funkce je velmi základní a přichází na mysl pokaždé, když se pokusíme vázat výstup. Je to v podstatě prahová báze klasifikátor, v tomto, rozhodujeme nějakou prahovou hodnotu rozhodnout výstup, který neuron by měl být aktivován nebo deaktivován.

v tomto rozhodneme prahovou hodnotu na 0. Je velmi jednoduché a užitečné klasifikovat binární problémy nebo klasifikátor.

2. Lineární aktivační funkce

jedná se o jednoduchou aktivační funkci přímky, kde je naše funkce přímo úměrná váženému součtu neuronů nebo vstupu. Lineární aktivační funkce jsou lepší při poskytování širokého rozsahu aktivací a linie kladného sklonu může zvýšit rychlost střelby se zvyšující se vstupní rychlostí.

v binárním, buď neuron střílí, nebo ne. Pokud znáte gradientní sestup v hlubokém učení, pak byste si všimli, že v této funkci je derivace konstantní.

Kde je derivace s ohledem na Z je konstantní m. Význam gradientu je také konstantní a nemá to nic společného s Z. V tomto, pokud se změny provedené v backpropagation bude konstantní a nezávisí na Z, tak to nebude dobré pro učení.

v tomto je naše druhá vrstva výstupem lineární funkce vstupu předchozích vrstev. Počkej chvíli, co jsme se naučili v tom, že pokud budeme srovnávat naše všechny vrstvy a odstranit všechny vrstvy kromě první a poslední, pak se také můžeme jen získat výstup, který je lineární funkcí první vrstvy.

3. ReLU( Opraveny Lineární jednotka) Aktivace funkce

Opraveny lineární jednotky nebo ReLU je nejpoužívanější aktivační funkce právě teď, které se pohybuje od 0 do nekonečna, Všechny záporné hodnoty jsou převedeny na nulu, a to míra konverze je tak rychle, že ani to může mapa, ani se vešly do data správně, což vytváří problém, ale tam, kde je problém, existuje řešení.

Opraveny Lineární Jednotky aktivace funkce

použijeme Děravé funkce ReLU místo ReLU, aby se zabránilo to nevhodné, v Děravé ReLU rozsah je rozšířen, což zvyšuje výkon.

Děravý ReLU Aktivace Funkce

Děravý Aktivační Funkce ReLU

potřebovali Jsme Děravé aktivační funkce ReLU vyřešit Dying ReLU problém, jak je uvedeno v ReLU, můžeme pozorovat, že všechny záporné vstupní hodnoty otočte do nulové velmi rychle a v případě Děravé ReLU nechceme, aby všechny negativní vstupy na nulu, ale na hodnotu blízké nule, které řeší hlavní problém aktivační funkce ReLU.

Sigmoid Aktivační Funkce

sigmoid aktivační funkce se používá většinou jako to dělá jeho úkol s velkou účinností, to je v podstatě pravděpodobnostní přístup k rozhodování a pohybuje se v rozmezí 0 až 1, takže když musíme učinit rozhodnutí, nebo předvídat výstupní jsme použít tento aktivační funkci, protože rozsah je minimální, proto, že predikce bude přesnější.

Sigmoid Aktivační funkce

rovnice pro sigmoidní funkce je

f(x) = 1/(1+e(-x) )

sigmoid funkce způsobuje problém hlavně označují jako vanishing gradient problém, který nastane, protože jsme se převést velké vstupní mezi rozmezí od 0 do 1, a proto jejich deriváty, mnohem menší, která nedává uspokojivý výkon. K vyřešení tohoto problému se používá další aktivační funkce, jako je ReLU, kde nemáme malý derivační problém.

Aktivační Funkce Hyperbolický Tangens(Tanh)

Tanh Aktivace funkce

aktivace Této funkce je o něco lepší než sigmoidní funkce, jako sigmoidní funkce je také použit k předpovědět, nebo rozlišit mezi dvěma třídami, ale mapuje negativní vstup do záporné množství pouze a pohybuje se v rozmezí -1 až 1.

Softmax aktivační funkce

Softmax se používá hlavně v poslední vrstvě i.e výstupní vrstva pro rozhodování stejná jako sigmoidní aktivační funguje, softmax v podstatě dává hodnotu vstupní proměnné podle jejich hmotnosti a součet těchto vah je nakonec jedno.

Softmax na Binární Klasifikace

Pro Binární klasifikaci, a to jak sigmoid, stejně jako softmax, jsou stejně přístupný, ale v případě klasifikace do více tříd problému jsme se obecně používají softmax a cross-entropy spolu s ním.

Závěr

aktivace funkcí jsou významné funkce, které vykonávají non-lineární transformace na vstupní a dělat to zdatní pochopit a provádí složitější úkoly. Diskutovali jsme o 7 většinou používaných aktivačních funkcích s jejich omezením (pokud existují), tyto aktivační funkce se používají ke stejnému účelu, ale za různých podmínek.