Recall that logistic regression produces a decimalbetwind 0 and 1.0. Esimerkiksi logistinen regressiolähtö 0. 8 sähköpostiluokittajalta viittaa 80%: n todennäköisyyteen siitä, että anemail on roskapostia ja 20%: n todennäköisyyteen siitä, ettei se ole roskapostia. On selvää, että sähköpostin todennäköisyyksien summa on joko roskapostia tai ei roskapostia on 1.0.
Softmax laajentaa tämän ajatuksen moniluokkaiseksi maailmaksi. Toisin sanoen Softmax määrittää desimaalitodennäköisyydet jokaiselle luokalle moniluokkaongelmassa.Näiden desimaalitodennäköisyyksien yhteenlaskun on oltava 1,0. Tämä lisärajoite auttaa koulutuksessa lähentymään toisiaan nopeammin kuin muuten.
esimerkiksi palaten kuviossa 1 nähtyyn kuvaanalyysiin Softmaxmight tuottaa apartikulaariseen luokkaan kuuluvasta kuvasta seuraavat likiarvot:
| Luokka | todennäköisyys |
|---|---|
| omena | 0,001 |
| karhu | 0,04 |
| karkki | 0.008 |
| koira | 0,95 | muna | 0,001 |
Softmax toteutetaan neuroverkkokerroksen läpi juuri ennen lähtökerrosta. Softmax kerros on oltava sama määrä nodesas lähtö kerros.
kuva 2. Softmax-kerros neuroverkossa.
klikkaa plus-kuvaketta nähdäksesi Softmax-yhtälön.
Softmax-yhtälö on seuraava:
huomaa, että tällä kaavalla periaatteessa laajennetaan logistiikkarefression kaava useampaan luokkaan.
Softmax-vaihtoehdot
harkitse seuraavia Softmax-variantteja:
-
Full Softmax on Softmax, josta olemme keskustelleet; toisin sanoen Softmax laskee todennäköisyyden jokaiselle mahdolliselle luokalle.
-
Candidate sampling tarkoittaa, että Softmax laskee todennäköisyyden kaikille positiivisille merkinnöille, mutta vain satunnaisotokselle negatiivisista merkinnöistä. Esimerkiksi, jos olemme kiinnostuneita määrittämään, onko syötekuva beagle tai verikoira, meillä ei ole tarjota todennäköisyyksiä jokaiselle Ei-koira esimerkki.
täysi Softmax on melko halpa, kun luokkamäärä on pieni, mutta tulee kohtuuttoman kalliiksi, kun luokkamäärä nousee.Candidate näytteenotto voi parantaa tehokkuutta ongelmia, joilla on suuri määrä luokkia.
yksi etiketti vs. monet merkit
Softmax olettaa, että jokainen esimerkki on täsmälleen yhden luokan jäsen.Jotkut esimerkit voivat kuitenkin olla samanaikaisesti useiden luokkien jäseniä.
- et saa käyttää Softmaxia.
- sinun täytyy luottaa useisiin logistisiin regressioihin.
Oletetaan esimerkiksi, että esimerkkisi ovat kuvia, joissa on täsmälleen yksi esine—kappale hedelmiä. Softmax voi määrittää todennäköisyys, että yksi seembeing päärynä, appelsiini, omena, ja niin edelleen. Jos esimerkeissäsi on kuvia, jotka sisältävät kaikenlaisia asioita-kulhoja erilaisia hedelmiä-sinun on käytettävä useita logistisia regressioita sen sijaan.