Cómo calcular el número de parámetros de las redes neuronales convolucionales?

Si se refiere a la red VGG con 16 capas (tabla 1, columna D), entonces 138M se refiere al número total de parámetros de esta red, es decir, incluyendo todas las capas convolucionales, pero también las completamente conectadas.

Mirando la 3ra etapa convolucional compuesta de 3 x conv3-256 capas:

• el primero tiene N = 128 planos de entrada y F=256 planos de salida,
• los otros dos tienen N=256 planos de entrada y F=256 planos de salida.

La convolución kernel es 3x3 para cada una de estas capas. En términos de parámetros esto da:

• 128x3x3x256 (pesos) + 256 (sesgos) = 295,168 parámetros para el primero,
• 256x3x3x256 (pesos) + 256 (sesgos) = 590,080 parámetros para los otros dos.

Como se explicó anteriormente, debe hacerlo para todas las capas, pero también para las completamente conectadas, y sumar estos valores para obtener el número final de 138M.

-

ACTUALIZACIÓN : el desglose entre las capas dan:

conv3-64  x 2       : 38,720
conv3-128 x 2       : 221,440
conv3-256 x 3       : 1,475,328
conv3-512 x 3       : 5,899,776
conv3-512 x 3       : 7,079,424
fc1                 : 102,764,544
fc2                 : 16,781,312
fc3                 : 4,097,000
TOTAL               : 138,357,544

En particular para las capas completamente conectadas (fc):

 fc1 (x): (512x7x7)x4,096 (weights) + 4,096 (biases)
 fc2    : 4,096x4,096     (weights) + 4,096 (biases)
 fc3    : 4,096x1,000     (weights) + 1,000 (biases)

(x) consulte la sección 3.2 del artículo: las capas completamente conectadas se convierten primero en capas convolucionales (la primera capa FC a una CONV 7 × 7. capa, las dos últimas capas FC a 1 × 1 conv. capas).

Detalles acerca de fc1

Como se precisa por encima de la resolución espacial justo antes de alimentar las capas completamente conectadas es de 7x7 píxeles. Esto se debe a que esta red VGG utiliza relleno espacial antes de las circunvoluciones, como se detalla en la sección 2.1 del documento:

[...] the spatial padding of conv. la entrada de capa es tal que la resolución espacial se conserva después de la convolución, es decir, el relleno es de 1 píxel para 3×3 conv. capas.

Con tal relleno, y trabajando con una imagen de entrada de 224x224 píxeles, la resolución disminuye de la siguiente manera a lo largo de las capas: 112x112, 56x56, 28x28, 14x14 y 7x7 después de la última etapa de convolución / agrupación que tiene 512 mapas de características.

Esto da un vector de entidad pasado a fc1 con dimensión: 512x7x7.