Pérdida y entropía cruzada

El optimizador no puede trabajar con “parece correcto”. Necesita una función que convierta la predicción y el objetivo en un número. Esa función es la pérdida.

La pérdida sirve para entrenar y comparar pasos de un mismo experimento. No describe por sí sola toda la calidad del modelo.

Para una clase correcta, la entropía cruzada se reduce a menos el logaritmo de la probabilidad asignada a esa clase. Si el modelo asigna probabilidad uno, la pérdida se acerca a cero. Si asigna una probabilidad diminuta, la pérdida crece mucho.

Esto castiga especialmente estar muy seguro de una respuesta equivocada.

En un batch calculamos la pérdida de cada predicción y normalmente tomamos el promedio. Así obtenemos una señal estable para actualizar millones de parámetros con un solo número escalar.