emlékezzünk arra, hogy a logisztikai regresszió tizedesjegyet eredményez a 0 és az 1.0 között. Például egy 0,8-as logisztikai regressziós kimenet egy e-mail osztályozóból azt sugallja, hogy 80% az esély arra, hogy az anemail spam legyen, és 20% az esélye, hogy nem spam. Nyilvánvaló, hogy az e-mail valószínűségének összege spam vagy nem spam 1,0.
Softmax kiterjeszti ezt az ötletet egy több osztályú világban. Ez azt jelenti, hogy a Softmax decimális valószínűségeket rendel minden osztályhoz egy többosztályú problémában.Ezeknek a tizedes valószínűségeknek össze kell adniuk 1,0-et. Ez a további korlátozássegít a képzésnek gyorsabban konvergálni, mint egyébként.
például visszatérve az 1.ábrán látható képelemzéshez, a Softmaxmight az apartikuláris osztályba tartozó kép következő valószínűségeit állítja elő:
| osztály | valószínűség |
|---|---|
| alma | 0,001 |
| medve | 0,04 |
| candy | 0.008 |
| kutya | 0,95 | tojás | 0,001 |
a Softmax megvalósult egy neurális hálózati rétegen keresztül közvetlenül korábbana kimeneti réteg. A Softmax rétegnek ugyanannyi csomóponttal kell rendelkezniemint a kimeneti réteg.
2.ábra. Egy Softmax réteg egy neurális hálózaton belül.
kattintson a plusz ikonra a Softmax egyenlet megtekintéséhez.
a Softmax egyenlet a következő:
vegye figyelembe, hogy ez a képlet alapvetően kiterjeszti a logisticregression képletét több osztályra.
Softmax opciók
Tekintsük a következő változatai Softmax:
-
teljes Softmax a Softmax már tárgyalt; vagyis a Softmax kiszámítja a valószínűséget minden lehetséges osztályra.
-
a jelölt mintavétel azt jelenti, hogy a Softmax kiszámítja az összes pozitív címke valószínűségét, de csak a negatív címkék véletlenszerű mintájára. Például, ha érdekel minket annak meghatározása, hogy egy bemeneti kép beagle vagy bloodhound-e, akkor nincs minden nem kutyus példa valószínűségének biztosítása.
a teljes Softmax meglehetősen olcsó, ha az osztályok száma kicsi, de megfizethetetlenül drága lesz, amikor az osztályok száma felmászik.A jelölt mintavétel javíthatja a hatékonyságot a nagy problémákbanosztályok száma.
egy címke vs. sok címke
a Softmax feltételezi, hogy minden példa pontosan egy osztály tagja.Néhány példa azonban egyszerre több osztály tagja lehet.Ilyen példákhoz:
- nem használhatja a Softmax-ot.
- több logisztikai regresszióra kell támaszkodnia.
tegyük fel például, hogy a példák olyan képek, amelyek pontosan egy elemet tartalmaznak—gyümölcsenként. A Softmax meghatározhatja annak valószínűségétkörte, narancs, alma stb. Ha a példáid képekmindenféle dolgot tartalmaznak—különféle gyümölcs tálak-akkortöbb logisztikai regressziót kell használnia.