bedenk dat logistieke regressie een decimaal tussen 0 en 1,0 oplevert. Bijvoorbeeld, een logistische regressie output van0, 8 van een e-mail classifier suggereert een 80% kans dat anemail spam en een 20% kans dat het niet spam. Duidelijk, de som van de kansen van een e-mail die ofwel spam of niet spam is 1.0.
Softmax breidt dit idee uit in een wereld van meerdere klassen. Dat wil zeggen,Softmax wijst decimale waarschijnlijkheden toe aan elke klasse in een multi-class probleem.Die decimale waarschijnlijkheden moeten oplopen tot 1.0. Deze extra beperkingen in de opleidingen komen sneller samen dan anders het geval zou zijn.
bijvoorbeeld, terug te keren naar de afbeelding analyse zagen we in Figuur 1, Softmaxmight produceren de volgende likelihoods van een afbeelding die behoren tot aparticular klasse:
| Class | Waarschijnlijkheid |
|---|---|
| apple | 0.001 |
| beer | 0.04 |
| candy | 0.008 | dog | 0.95 |
| egg | 0,001 |
Softmax wordt geïmplementeerd via een neurale netwerklaag net voor de uitvoerlaag. De Softmax-laag moet hetzelfde aantal nodes hebben als de uitvoerlaag.
Figuur 2. Een Softmax laag binnen een neuraal netwerk.
klik op het plus-pictogram om de Softmax-vergelijking te zien.
De Softmax vergelijking is als volgt:
Merk op dat deze formule in principe strekt zich uit van de formule voor logisticregression in meerdere klassen.
Softmax opties
overweeg de volgende varianten van Softmax:
-
volledige Softmax is de Softmax die we besproken hebben; dat wil zeggen,Softmax berekent een waarschijnlijkheid voor elke mogelijke klasse.
-
Kandidaatbemonstering betekent dat Softmax een waarschijnlijkheid berekent voor alle positieve labels, maar alleen voor een aselecte steekproef van negatieve labels. Bijvoorbeeld, als we geà nteresseerd zijn in het bepalen of een invoerbeeld een beagle of een bloedhond is, hebben we niet om waarschijnlijkheden te bieden voor elk niet-doggy voorbeeld.
Full Softmax is vrij goedkoop wanneer het aantal klassen klein is, maar wordt onbetaalbaar wanneer het aantal klassen stijgt.Kandidaatsteekproeven kunnen de efficiëntie verbeteren bij problemen met een groot aantal klassen.
Eén Label vs. vele Labels
Softmax gaat ervan uit dat elk voorbeeld een lid is van precies één klasse.Sommige voorbeelden kunnen echter tegelijkertijd lid zijn van meerdere klassen.Voor dergelijke voorbeelden:
- mag u Softmax niet gebruiken.
- u moet vertrouwen op meerdere logistieke regressies.
bijvoorbeeld, stel dat uw voorbeelden afbeeldingen zijn die precies één item bevatten – per stuk fruit. Softmax kan de waarschijnlijkheid bepalen dat het een peer, een sinaasappel, een appel, enzovoort is. Als uw voorbeelden beeldenbevat allerlei dingen-kommen van verschillende soorten fruit-dan zul je meerdere logistieke regressies gebruiken in plaats.