reamintim că regresia logistică produce o zecimalăîntre 0 și 1.0. De exemplu, o ieșire de regresie logistică of0.8 de la un clasificator de e-mail sugerează o șansă de 80% ca anemailul să fie spam și o șansă de 20% ca acesta să nu fie spam. În mod clar,suma probabilităților ca un e-mail să fie spam sau nu spam este 1.0.
Softmax extinde această idee într-o lume cu mai multe clase. Adică, Softmax atribuie probabilități zecimale fiecărei clase într-o problemă cu mai multe clase.Aceste probabilități zecimale trebuie să adauge până la 1,0. Această constrângere suplimentarăajută formarea să conveargă mai repede decât ar fi altfel.
de exemplu, revenind la analiza imaginii pe care am văzut-o în Figura 1, Softmaxmight produce următoarele probabilități ale unei imagini aparținând clasei aparticulare:
| clasă | probabilitate |
|---|---|
| Apple | 0.001 | urs | 0.04 |
| bomboane | 0.008 |
| câine | 0.95 | ou | 0.001 |
Softmax este implementat printr-un strat de rețea neuronală chiar înaintestratul de ieșire. Stratul Softmax trebuie să aibă același număr de nodurica strat de ieșire.
Figura 2. Un strat Softmax într-o rețea neuronală.
Faceți clic pe pictograma plus pentru a vedea ecuația Softmax.
ecuația Softmax este următoarea:
rețineți că această formulă extinde practic formula pentru logisticăregression în mai multe clase.
Opțiuni Softmax
luați în considerare următoarele variante de Softmax:
-
Softmax complet este Softmax am discutat; adică, Softmax calculează o probabilitate pentru fiecare clasă posibilă.
-
eșantionarea candidaților înseamnă că Softmax calculează o probabilitate pentru toate etichetele pozitive, dar numai pentru un eșantion aleatoriu de etichete negative. De exemplu, dacă suntem interesați să determinăm dacă o imagine de intrare este un beagle sau un bloodhound, nu trebuie să oferim probabilități pentru fiecare exemplu non-doggy.
full Softmax este destul de ieftin atunci când numărul de clase este micdar devine prohibitiv de scump atunci când numărul de clase urcă.Eșantionarea candidaților poate îmbunătăți eficiența în problemele care au o dimensiune marenumărul de clase.
o etichetă vs.multe etichete
Softmax presupune că fiecare exemplu este membru al unei clase.Cu toate acestea, unele exemple pot fi simultan membre ale mai multor clase.Pentru astfel de exemple:
- nu puteți utiliza Softmax.
- trebuie să vă bazați pe regresii logistice multiple.
de exemplu, să presupunem că exemplele dvs. sunt imagini care conțin exact un element—bucată de fruct. Softmax poate determina probabilitatea ca acest lucrufiind o pere, o portocală, un măr și așa mai departe. Dacă exemplele dvs. sunt imagini care conțin tot felul de lucruri—boluri de diferite tipuri de fructe—atunci va trebui să utilizați mai multe regresii logistice în schimb.