Keras: Diferencia entre Kernel y regularizadores de actividad
He notado que weight_regularizer no es más disponible en Keras y que, en su lugar, hay actividad y kernel regularizer. Me gustaría saber:
- ¿cuáles son las principales diferencias entre kernel y actividad regularizers?
- Podría utilizar activity_regularizer en lugar de weight_regularizer?
1 answers
El activity regularizer funciona como una función de la salida de la red, y se utiliza principalmente para regularizar unidades ocultas, mientras que weight_regularizer, como su nombre lo indica, trabaja en los pesos, haciéndolos decaer. Básicamente se puede expresar la pérdida de regularización en función de la salida (activity_regularizer) o de los pesos (weight_regularizer).
El nuevo kernel_regularizer reemplaza a weight_regularizer - aunque no está muy claro en la documentación.
De la definición de kernel_regularizer:
Kernel_regularizer: Función regularizadora aplicada a la matriz de pesos
kernel(ver regularizer).
Y activity_regularizer:
Activity_regularizer: Función regularizadora aplicada a la salida de la capa (su "activación"). (ver regularizer).
Importante Editar: tenga en cuenta que hay un error en el activity_regularizer que fue solo se fija en la versión 2.1.4 de Keras (en al menos con Tensorflow backend). De hecho, en las versiones anteriores, la función activity regularizer se aplica a la entrada de la capa, en lugar de aplicarse a la salida (las activaciones reales de la capa, según lo previsto). Así que tenga cuidado si está utilizando una versión anterior de Keras (antes de la 2.1.4), la regularización de la actividad probablemente no funcione como estaba previsto.
Puedes ver la confirmación en GitHub
Warning: date(): Invalid date.timezone value 'Europe/Kyiv', we selected the timezone 'UTC' for now. in /var/www/agent_stack/data/www/ajaxhispano.com/template/agent.layouts/content.php on line 61
2018-07-20 20:10:17