Husk, at logistisk regression producerer et decimaltmellem 0 og 1.0. For eksempel antyder en logistisk regressionsudgang på0.8 fra en e-mail-klassifikator en 80% chance for, at anemail er spam, og en 20% chance for, at det ikke er spam. Det er klart, at summen af sandsynligheden for, at en e-mail enten er spam eller ikke spam, er 1,0.
Softmaks udvider denne ide til en multi-klasse verden. Det vil sige, at Softmaks tildeler decimal sandsynligheder til hver klasse i et multi-klasse problem.Disse decimal sandsynligheder skal tilføje op til 1,0. Denne ekstra begrænsninghjælper træning konvergere hurtigere end det ellers ville.
for eksempel, når vi vender tilbage til den billedanalyse, vi så i Figur 1, producerer Softmaksmight følgende sandsynligheder for et billede, der tilhører aparticular class:
| klasse | Sandsynlighed |
|---|---|
| æble | 0.01 |
| Bear | 0.04 |
| candy | 0.008 |
| hund | 0.95 |
| æg | 0.001 |
softmaks implementeres gennem et neuralt netværkslag lige førudgangslaget. Softmaks-laget skal have samme antal knudersom udgangslaget.
figur 2. Et Softmaks-lag i et neuralt netværk.
Klik på plus-ikonet for at se Softmaks-ligningen.
Softmaks-ligningen er som følger:
bemærk, at denne formel dybest set udvider formlen for Logistikregression i flere klasser.
Softmaks-indstillinger
overvej følgende varianter af Softmaks:
-
Full Softmaks er Softmaks, vi har diskuteret; det vil sige, Softmaks beregner en sandsynlighed for enhver mulig klasse.
-
Kandidatprøveudtagning betyder, at Softmaks beregner en sandsynlighedfor alle de positive etiketter, men kun for en tilfældig prøve afnegative etiketter. For eksempel, hvis vi er interesseret i at bestemmeom et inputbillede er en beagle eller en blodhund, har vi ikke at give sandsynligheder for hvert ikke-doggy eksempel.
fuld Softmaks er ret billigt, når antallet af klasser er lillemen bliver uoverkommeligt dyrt, når antallet af klasser klatrer.Kandidatprøveudtagning kan forbedre effektiviteten i problemer med en storantal klasser.
en etiket vs. mange etiketter
Softmaks antager, at hvert eksempel er medlem af nøjagtigt en klasse.Nogle eksempler kan dog samtidig være medlem af flere klasser.For sådanne eksempler:
- Du må ikke bruge Softmaks.
- du skal stole på flere logistiske regressioner.
Antag for eksempel, at dine eksempler er billeder, der indeholder nøjagtigt et element—stykke frugt. Softmaks kan bestemme sandsynligheden for den ene tingat være en pære, en appelsin, et æble og så videre. Hvis dine eksempler er billederindeholder alle mulige ting—skåle af forskellige slags frugt-sådu bliver nødt til at bruge flere logistiske regressioner i stedet.