Uso de las instrucciones de la CPU AVX: Rendimiento deficiente sin " / arch: AVX"

Tl; dr

Uso _mm256_zeroupper(); o _mm256_zeroall(); alrededor de secciones de código usando AVX (antes o después dependiendo de los argumentos de la función). Use la opción /arch:AVX solo para archivos de origen con AVX en lugar de para un proyecto completo para evitar romper el soporte para rutas de código SSE codificadas heredadas.

Causa

Creo que la mejor explicación está en el artículo de Intel, "Evitar Penalizaciones de transición AVX-SSE" (PDF ). Abstracto estados:

La transición entre las instrucciones Intel® AVX de 256 bits y las instrucciones Intel® SSE heredadas dentro de un programa puede causar penalizaciones de rendimiento porque el hardware debe guardar y restaurar los 128 bits superiores de los registros YMM.

Separar su código AVX y SSE en diferentes unidades de compilación puede NO ayudar si cambia entre llamar código desde archivos objeto habilitados para SSE y habilitados para AVX, porque la transición puede ocurrir cuando AVX las instrucciones o el ensamblaje se mezclan con cualquiera de (del documento de Intel):

• instrucciones intrínsecas de 128 bits
• Ensamblaje en línea SSE
• Código de coma flotante C/C++ compilado para Intel® SSE
• Llamadas a funciones o bibliotecas que incluyan cualquiera de las anteriores

Esto significa que incluso puede haber penalizaciones cuando se enlaza con código externo utilizando SSE.

Detalles

Hay 3 estados de procesador definido por las instrucciones AVX, y uno de los estados es donde se dividen todos los registros YMM, permitiendo que la mitad inferior sea utilizada por las instrucciones SSE. El documento de Intel " Transiciones de estado Intel® AVX: Migración de código SSE a AVX " proporciona un diagrama de estos estados:

Cuando está en el estado B (modo AVX-256), todos los bits de los registros YMM están en uso. Cuando se llama una instrucción SSE, debe ocurrir una transición al estado C, y esto es donde hay un castigo. La mitad superior de todos los registros YMM debe guardarse en un búfer interno antes de que pueda comenzar SSE, incluso si resultan ser ceros. El costo de las transiciones está en el "orden de 50-80 ciclos de reloj en hardware de Sandy Bridge". También hay una penalización que va desde C - > A, como se muestra en la Figura 2.

También puede encontrar detalles sobre la penalización por cambio de estado que causa esta desaceleración en la página 130, Sección 9.12, " Transiciones entre VEX y no VEX modes " inAgner Fog's optimization guide (of version updated 2014-08-07), referenced inMystic's answer . Según su guía, cualquier transición hacia / desde este estado toma "alrededor de 70 ciclos de reloj en Sandy Bridge". Tal como indica el documento de Intel, esta es una penalización de transición evitable.

Resolución

Para evitar las penalizaciones de transición, puede eliminar todo el código SSE heredado, indicar al compilador que convierta todas las instrucciones SSE a su forma codificada VEX de instrucciones de 128 bits (si el compilador es capaz), o poner los registros YMM en un estado cero conocido antes de la transición entre el código AVX y SSE. Esencialmente, para mantener la ruta separada del código SSE, debe poner a cero los 128 bits superiores de todos los 16 registros YMM (emitiendo una instrucción VZEROUPPER) después de cualquier código que use instrucciones AVX. Poner a cero estos bits manualmente fuerza una transición al estado A, y evita la costosa penalización ya que los valores YMM no necesitan ser almacenado en un búfer interno por hardware. Lo intrínseco que realiza esta instrucción es _mm256_zeroupper. La descripción de este intrínseco es muy informativa:

Esto intrínseco es útil para borrar los bits superiores de los registros YMM cuando se realiza la transición entre las instrucciones Intel® Advanced Vector Extensions (Intel® AVX) y las instrucciones heredadas Intel® Supplemental SIMD Extensions (Intel® SSE). No hay ninguna penalización de transición si una aplicación borra los bits superiores de todos los registros de YMM (se establecen en '0') a través de VZEROUPPER, la instrucción correspondiente para este intrínseco, antes de la transición entre las instrucciones Intel® Advanced Vector Extensions (Intel® AVX) y las instrucciones heredadas Intel® Supplemental SIMD Extensions (Intel® SSE).

En Visual Studio 2010+ (tal vez incluso más antiguo), se obtiene este intrínseco con immintrin.h.

Tenga en cuenta que la puesta a cero de los bits con otros métodos no elimina la penalización - el VZEROUPPER o VZEROALL se deben utilizar las instrucciones.

Una solución automática implementada por el compilador Intel es insertar un VZEROUPPER al principio de cada función que contiene código Intel AVX si ninguno de los argumentos es un registro YMM o __m256/__m256d/__m256i datatype, y al final de funciones si el valor devuelto no es un registro YMM o __m256/__m256d/__m256i tipo de datos.

En la naturaleza

Esta solución VZEROUPPER es utilizada por FFTW para generar una biblioteca con compatibilidad con SSE y AVX. Véase simd-avx.h :

/* Use VZEROUPPER to avoid the penalty of switching from AVX to SSE.
   See Intel Optimization Manual (April 2011, version 248966), Section
   11.3 */
#define VLEAVE _mm256_zeroupper

Entonces VLEAVE(); se llama al final de cada función usando intrínsecos para instrucciones AVX.