La relación entre la capa completamente conectada, la convolución 1*1 y GAP
Cada neurona de la capa actual está conectada a todas las neuronas de la capa anterior. La última neurona genera un valor.
Para CNN, si la capa anterior genera el mapa de características de H W C, la capa completamente conectada consta de N núcleos de convolución con dimensiones H W C. Salida N valores.
CNN extrae características locales y la función de la capa completamente conectada es integrar estas características locales, integrar el mapa de características en un valor y mejorar la invariancia de posición.
Aquí, se utiliza un gatito para explicar por qué se necesita una capa completamente conectada.
El número de parámetros ha aumentado dramáticamente y la capa completamente conectada tiene el. la mayoría de los parámetros de la red.
Dado que el tamaño de las neuronas de la capa completamente conectadas se determina durante el proceso de entrenamiento, el tamaño de la imagen de entrada será limitado.
1 1 convolución, como sugiere el nombre, el tamaño del núcleo de convolución es 1 1 y el número de canales es el mismo que el número de canales de características de entrada, pero el número de núcleos de convolución puede ser cambiado para lograr la mejora de la dimensionalidad y la reducción de la dimensionalidad.
El número de canales del núcleo de convolución es el mismo que el número de canales de características de entrada.
El número de núcleos de convolución determina el número de canales de la característica de salida.
La capa completamente conectada romperá la información espacial original de la entidad y la aplanará para el siguiente paso del procesamiento.
Después de la convolución 1*1, la resolución de la función no cambia, pero sí el número de canales.
-No cambia el tamaño del mapa de características y no tiene límite en el tamaño de entrada.
-El número de parámetros se reduce considerablemente. La dimensionalidad se puede reducir primero y luego aumentar para lograr la misma función que otras operaciones de convolución y al mismo tiempo reducir la cantidad de cálculo.
Sume y promedie los valores de píxeles en cada canal del mapa de características para obtener un valor, que se utiliza para representar el mapa de características correspondiente.
Los resultados de salida se envían directamente a softmax.
- Reduce el número de parámetros y reemplaza la capa completamente conectada.
- Reduce el sobreajuste.
- Asigna directamente el significado de categoría real a cada canal.
Referencia 1
Referencia 2
Resumen del artículo NIN
Esto está bien