Cómo escribir una función de pérdida personalizada en Tensorflow?

Necesitamos escribir la función de pérdida. Por ejemplo, podemos usar el error cuadrado medio básico como nuestra función de pérdida para y predicho y y_:

 loss_mse = 1/n(Sum((y-y_)^2))

Hay funciones básicas para los tensores como tf.add(x,y), tf.sub(x,y), tf.square(x), tf.reduce_sum(x), etc.

Entonces podemos definir nuestra función de pérdida en Tensorflow como:

cost = tf.reduce_mean(tf.square(tf.sub(y,y_)))

Nota: y e y_ son tensores.

Además, podemos definir cualquier otra función de pérdida si podemos escribir las ecuaciones. Para algunos operadores de formación (minimizadores), la función de pérdida debe satisfacer algunas condiciones (suave, diferenciable ...).

En una palabra, Tensorflow define arrays, constantes, variables en tensores, define cálculos usando funciones tf y usa session para ejecutar though graph. Podemos definir lo que queramos y ejecutarlo al final.

Además de la otra respuesta, puede escribir una función de pérdida en Python si se puede representar como una composición de funciones existentes.

Eche un vistazo, por ejemplo, a la implementación de sigmoid_cross_entropy_with_logits link, que se implementa mediante transformaciones básicas.

Casi en todos los tutoriales de tensorflow utilizan funciones personalizadas. Por ejemplo, en el mismo tutorial inicial escriben una función personalizada:

Suma los cuadrados de los deltas entre el modelo actual y los datos proporcionados

squared_deltas = tf.square(linear_model - y)
loss = tf.reduce_sum(squared_deltas)

En el siguiente MNIST para principiantes utilizan una entropía cruzada :

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

Como puede ver, no es tan difícil: solo necesita codificar su función en un formato tensor y usar su función básica función.

Por ejemplo, aquí está cómo puede implementar la puntuación F-beta (un enfoque general para la puntuación F1). Su fórmula es:

Lo único que tendremos que hacer es encontrar cómo calcular true_positive, false_positive, false_negative para valores booleanos o 0/1. Si tiene vectores de valores 0/1, puede calcular cada uno de los valores como:

TP = tf.count_nonzero(actual, predicted)
FP = tf.count_nonzero((actual - 1) * predicted)
FN = tf.count_nonzero((predicted - 1) * actual)

Ahora, una vez que conozca estos valores, puede obtener fácilmente su

denom = (1 + b**2) * TP + b**2 TN + FP
Fb = (1 + b**2) * TP / denom