Las funciones de activación son la parte más crucial de cualquier red neuronal en el aprendizaje profundo. En el aprendizaje profundo, las tareas muy complicadas son la clasificación de imágenes, la transformación del lenguaje, la detección de objetos, etc., que se necesitan abordar con la ayuda de redes neuronales y la función de activación. Por lo tanto, sin ella, estas tareas son extremadamente complejas de manejar.
En pocas palabras, una red neuronal es una técnica muy potente en el aprendizaje automático que básicamente imita cómo entiende un cerebro, cómo? El cerebro recibe los estímulos, como entrada, del entorno, los procesa y luego produce la salida en consecuencia.
Introducción
Las funciones de activación de redes neuronales, en general, son el componente más importante del aprendizaje Profundo, se utilizan fundamentalmente para determinar el resultado de los modelos de aprendizaje profundo, su precisión y la eficiencia del rendimiento del modelo de entrenamiento que puede diseñar o dividir una red neuronal a gran escala.
Las funciones de activación han dejado efectos considerables en la capacidad de convergencia de las redes neuronales y en la velocidad de convergencia, ¿no quieres cómo? Continuemos con una introducción a la función de activación, tipos de funciones de activación & su importancia y limitaciones a través de este blog.
¿Qué es la función de activación?
La función de activación define la salida de entrada o conjunto de entradas o, en otros términos, define el nodo de la salida del nodo que se da en entradas. Básicamente deciden desactivar neuronas o activarlas para obtener la salida deseada. También realiza una transformación no lineal en la entrada para obtener mejores resultados en una red neuronal compleja.La función de activación
también ayuda a normalizar la salida de cualquier entrada en el rango entre 1 y -1. La función de activación debe ser eficiente y reducir el tiempo de cómputo porque la red neuronal a veces se entrena en millones de puntos de datos.
La función de activación básicamente decide en cualquier red neuronal que la entrada o recepción de información dada es relevante o es irrelevante. Tomemos un ejemplo para entender mejor qué es una neurona y cómo la función de activación limita el valor de salida a algún límite.
La neurona es básicamente un promedio ponderado de entrada, luego esta suma se pasa a través de una función de activación para obtener una salida.
Y = ∑ (pesos*entrada + sesgo)
Aquí Y puede ser cualquier cosa para una neurona entre rango-infinito a +infinito. Por lo tanto, tenemos que enlazar nuestra salida para obtener la predicción deseada o los resultados generalizados.
Y = Función de activación (∑(pesos*entrada + sesgo))
Por lo tanto, pasamos esa neurona a la función de activación a los valores de salida enlazados.
¿Por qué necesitamos Funciones de Activación?
Sin función de activación, el peso y el sesgo solo tendrían una transformación lineal, o la red neuronal es solo un modelo de regresión lineal, una ecuación lineal es un polinomio de un solo grado que es simple de resolver pero limitado en términos de capacidad para resolver problemas complejos o polinomios de mayor grado.
Pero, al contrario de eso, la adición de la función de activación a la red neuronal ejecuta la transformación no lineal a la entrada y la hace capaz de resolver problemas complejos como traducciones de idiomas y clasificaciones de imágenes.
Además de eso, las funciones de activación son diferenciables debido a que pueden implementar fácilmente propagaciones hacia atrás, una estrategia optimizada mientras realizan backropagations para medir las funciones de pérdida de gradiente en las redes neuronales.
Tipos de Funciones de Activación
El más famoso de activación de funciones que se indican a continuación,
-
Binario paso
-
Lineal
-
ReLU
-
LeakyReLU
-
Sigmoide
-
Tanh
-
Softmax
1. Función de activación de paso binario
Esta función de activación es muy básica y viene a la mente cada vez que intentamos enlazar la salida. Es básicamente un clasificador de base de umbral, en este, decidimos algún valor de umbral para decidir la salida que la neurona debe activarse o desactivarse.
f(x) = 1 si x > 0 los demás 0 si x < 0
Función de paso binario
En esto, decidimos el valor de umbral a 0. Es muy sencillo y útil clasificar problemas binarios o clasificadores.
2. Función de activación lineal
Es una función de activación en línea recta simple donde nuestra función es directamente proporcional a la suma ponderada de neuronas o entrada. Las funciones de activación lineal son mejores para proporcionar una amplia gama de activaciones y una línea de pendiente positiva puede aumentar la velocidad de disparo a medida que aumenta la velocidad de entrada.
En binario, una neurona se está disparando o no. Si conoce el descenso de gradiente en aprendizaje profundo, notará que en esta función la derivada es constante.
Y = mZ
Donde la derivada con respecto a Z es constante m. El gradiente de significado también es constante y no tiene nada que ver con Z. En esto, si los cambios realizados en backpropagation serán constantes y no dependerán de Z, esto no será bueno para el aprendizaje.
En esta, nuestra segunda capa es la salida de una función lineal de entrada de capas anteriores. Espera un minuto, lo que hemos aprendido en esto es que si comparamos todas las capas y eliminamos todas las capas excepto la primera y la última, entonces también podemos obtener una salida que es una función lineal de la primera capa.
3. La función de activación ReLU( Unidad lineal rectificada)
La unidad lineal rectificada o ReLU es la función de activación más utilizada en este momento, que varía de 0 a infinito, Todos los valores negativos se convierten en cero, y esta tasa de conversión es tan rápida que ni puede mapear ni encajar en los datos correctamente, lo que crea un problema, pero donde hay un problema, hay una solución.
Función de activación de unidad lineal rectificada
Utilizamos la función ReLU con fugas en lugar de ReLU para evitar que esta no se ajuste, en el rango de ReLU con fugas se amplía lo que mejora el rendimiento.
Función de activación de ReLU con fugas
Función de activación de ReLU con fugas
Necesitábamos la función de activación de ReLU con fugas para resolver el problema de «ReLU Moribundo», como se discutió en ReLU, observamos que todos los valores de entrada negativos se convierten en cero muy rápidamente y en el caso de ReLU con fugas no hacemos que todas las entradas negativas sean cero, sino un valor cercano a cero que resuelve el problema principal de la función de activación de ReLU.
Función de Activación sigmoide
La función de activación sigmoide se utiliza principalmente porque hace su tarea con gran eficiencia, básicamente es un enfoque probabilístico hacia la toma de decisiones y varía entre 0 y 1, por lo que cuando tenemos que tomar una decisión o predecir una salida utilizamos esta función de activación porque el rango es el mínimo, por lo tanto, la predicción sería más precisa.
Función de activación sigmoide
La ecuación para la función sigmoide es
f(x) = 1/(1+e(-x) )
La función sigmoide causa un problema denominado principalmente problema de gradiente de fuga que ocurre porque convertimos entradas grandes entre el rango de 0 a 1 y, por lo tanto, sus derivadas se vuelven mucho más pequeñas, lo que no da una salida satisfactoria. Para resolver este problema se utiliza otra función de activación, como ReLU, donde no tenemos un pequeño problema derivado.
Función de Activación de la Tangente Hiperbólica(Tanh)
Función de activación Tanh
Esta función de activación es ligeramente mejor que la función sigmoide, al igual que la función sigmoide, también se usa para predecir o diferenciar entre dos clases, pero mapea la entrada negativa solo en cantidad negativa y varía entre -1 y 1.
Función de activación de Softmax
Softmax se utiliza principalmente en la última capa i.e capa de salida para la toma de decisiones al igual que funciona la activación sigmoide, el softmax básicamente da valor a la variable de entrada de acuerdo con su peso y la suma de estos pesos es finalmente uno.
Softmax en la Clasificación binaria
Para la clasificación binaria, tanto sigmoid, como softmax, son igualmente accesibles, pero en caso de problemas de clasificación de varias clases, generalmente usamos softmax y entropía cruzada junto con él.
Conclusión
Las funciones de activación son aquellas funciones significativas que realizan una transformación no lineal a la entrada y la hacen competente para comprender y ejecutar tareas más complejas. Hemos discutido 7 funciones de activación utilizadas principalmente con su limitación (si las hay), estas funciones de activación se utilizan para el mismo propósito pero en condiciones diferentes.