Redes Neuronales, Pasos principales de Backpropagation

WARNING: Esta página está en desarrollo, puede contener errores.

Resumen Visual de Backpropagation
Obtenido de Deeplearning.ai en Coursera, Course 1

1. Se inicializan hyperparametros
   
   • Alpha: valor numérico que se usa para gradient descent para avanzar.
   • Cantidad de iteraciones
   • Topología: numero de capas y cantidad de nodos en cada capa.
   • Funciones de activación en cada capa.
   • Lambda (usado para regularización)
   • Multiplicador de inicialización de peso (para evitar gradientes que desaparecen o explotan)
2. Inicializar Parametros
   Se les da un valor aleatorio a los parámetros para que no sean todos iguales a 0.
3. Se realiza una cantidad de iteraciones del siguiente proceso
   Este proceso acerca a lo más posible a 0 el costo de la suma de las predicciones. Con cada iteración se acerca más aunque puede estancarse cercano a algun valor. No necesariamente es un numero cercano a 0 (dependiendo del modelo y de la información puede ser un numero muy grande).
   1. Usando los parámetros se hace un forward propagation (propagación hacia adelante) para cada ejemplo de entrenamiento de la información.
   2. Se computa el costo usando el forward propagation. (INSERTAR FORMULA DE COSTO)
   3. Se deriva el costo con relación a cada parametro.
   4. Se realiza gradient descent
      Para cada parametro: al valor más reciente se le resta el valor de su derivada y se actualiza el parametro con este nuevo valor.
4. El ultimo valor de los parámetros se usa para hacer nuevas predicciones.