Husk at logistisk regresjon gir en decimalbetween 0 og 1.0. For eksempel antyder en logistisk regresjonsutgang på 0,8 fra en e-postklassifiserer en 80% sjanse for at anemail er spam og en 20% sjanse for at den ikke er spam. Klart, summen av sannsynlighetene for en e-post blir enten spam eller ikke spam er 1.0.
Softmax utvider denne ideen til en multi-class verden. Det Vil Si At Softmax tildeler desimal sannsynligheter til hver klasse i et multi-klasse problem.Disse desimal sannsynlighetene må legge opp til 1,0. Denne ekstra begrensningenhjelper trening konvergerer raskere enn det ellers ville.
For eksempel, tilbake til bildeanalysen vi så I Figur 1, Produserer Softmaxmight følgende sannsynligheter for et bilde som tilhører apartikulær klasse:
| Klasse | Sannsynlighet |
|---|---|
| eple | 0.001 | bjørn | 0.04 |
| godteri | 0.008 |
| 0.95 | |
| egg | 0.001 |
Softmax er implementert gjennom et nevralt nettverkslag like førutgangslaget. Softmax-laget må ha samme antall nodersom utgangslaget.
figur 2. Et Softmax-lag i et nevralt nettverk.
Klikk på plussikonet for Å se softmax-ligningen.
softmax-ligningen er som følger:
merk at denne formelen I Utgangspunktet Utvider formelen for logisticregresjon i flere klasser.
Softmax Alternativer
Vurder følgende varianter Av Softmax:
-
Full Softmax Er Softmax vi har diskutert; Det Vil si At Softmax beregner en sannsynlighet for hver mulig klasse.
-
Kandidatprøvetaking betyr At Softmax beregner en sannsynlighetfor alle de positive etikettene, men bare for et tilfeldig utvalg av negative etiketter. For eksempel, hvis vi er interessert i å bestemme om et inngangsbilde er en beagle eller en blodhund, har vi ikke å gi sannsynligheter for hvert ikke-doggy-eksempel.
Full Softmax er ganske billig når antall klasser er småmen blir uoverkommelig dyrt når antall klasser klatrer.Kandidatprøvetaking kan forbedre effektiviteten i problemer med å ha en storantall klasser.
En Etikett vs. Mange Etiketter
Softmax antar at hvert eksempel er medlem av nøyaktig en klasse.Noen eksempler kan imidlertid samtidig være medlem av flere klasser.For slike eksempler:
- Du kan ikke bruke Softmax.
- Du må stole på flere logistiske regresjoner.
anta for eksempel at eksemplene dine er bilder som inneholder nøyaktig ett element-stykke frukt. Softmax kan bestemme sannsynligheten for at en varevære en pære, en appelsin, et eple og så videre. Hvis eksemplene dine er bilder som inneholder alle slags ting-boller av forskjellige typer frukt-så må du bruke flere logistiske regresjoner i stedet.