Comparación de rendimiento del mecanismo de asignación de memoria C++ (tcmalloc vs. jemalloc)

Recientemente he considerado tcmalloc para un proyecto en el trabajo. Esto es lo que observé:

• Rendimiento mejorado en gran medida para el uso intensivo de malloc en un entorno multihilo. Lo utilicé con una herramienta en el trabajo y el rendimiento mejoró casi dos veces. La razón es que en esta herramienta había unos pocos hilos que realizaban asignaciones de objetos pequeños en un bucle crítico. Usando glibc, el rendimiento sufre debido, creo, a las disputas de bloqueo entre malloc / llamadas gratuitas diferentes hilos.

• Desafortunadamente, tcmalloc aumenta la huella de memoria. La herramienta que mencioné anteriormente consumiría dos o tres veces más memoria (medida por el tamaño máximo del conjunto residente). El aumento de la huella no es una opción para nosotros, ya que en realidad estamos buscando formas de reducir la huella de memoria.

Al final he decidido no usar tcmalloc y en su lugar optimizar el código de la aplicación directamente: esto significa eliminar las asignaciones de la bucles para evitar las contenciones malloc / free lock. (Para los curiosos, usar una forma de compresión en lugar de usar grupos de memoria.)

La lección para usted sería que debe medir cuidadosamente su aplicación con cargas de trabajo típicas. Si puede permitirse el uso de memoria adicional, tcmalloc podría ser ideal para usted. Si no, tcmalloc sigue siendo útil para ver lo que ganarías al evitar las llamadas frecuentes a la asignación de memoria entre subprocesos.

Tenga en cuenta que de acuerdo con la página de inicio 'nedmalloc', los asignadores del sistema operativo moderno son en realidad bastante rápidos ahora:

"Windows 7, Linux 3.x, FreeBSD 8, Mac OS X 10.6 todos contienen asignadores de última generación y es probable que ningún asignador de terceros mejore significativamente en los resultados del mundo real "

Http://www.nedprod.com/programs/portable/nedmalloc

Así que usted podría ser capaz de salirse con la suya simplemente recomendando a sus usuarios actualizar o algo por el estilo:)

También podría considerar el uso de Boehm conservative garbage collector. Básicamente, usted reemplaza cada malloc en su código fuente con GC_malloc (etc...), y no te molestes en llamar free. El GC de Boehm no asigna memoria más rápidamente que malloc (es casi lo mismo, o puede ser un 30% más lento), pero tiene la ventaja de lidiar con zonas de memoria inútiles automáticamente, lo que podría mejorar su programa (y ciertamente facilita la codificación, ya que no le importa más lo gratuito). Y el GC de Boehm también se puede usar como asignador de C++.

Si realmente cree que malloc es demasiado lento (pero debería hacer benchmark; la mayoría de malloc-s toman menos de microsegundos), y si comprende completamente el comportamiento de asignación de su programa, podría reemplazar algunos malloc-s con su asignador especial (que podría, por ejemplo, obtener memoria del núcleo en grandes trozos usando mmap y administrar la memoria por sí mismo). Pero creo que hacer eso es un dolor. En C++ tienes el asignador concepto y std::allocator_traits, con la mayoría de los contenedores estándar plantillas que aceptan dicho asignador (véase también std::allocator), por ejemplo, el segundo argumento de plantilla opcional para std::vector, etc...

Como otros sugirieron, si cree que malloc es un cuello de botella, podría asignar datos en trozos (o utilizando arenas), o simplemente en una matriz.

A veces, implementar un recolector de basura de copia especializada (para algunos de sus datos) podría ayudar. Considerar quizás MPS.

Pero no olvide que la optimización prematura es mala y por favor compare y perfile su aplicación para entender exactamente dónde se pierde el tiempo.

Hay una discusión bastante buena sobre los asignadores aquí:

Http://www.reddit.com/r/programming/comments/7o8d9/tcmalloca_faster_malloc_than_glibcs_open_sourced/

Tu post no menciona el threading, pero antes de considerar mezclar métodos de asignación de C y C++, investigaría el concepto de memory pool.BOOST tiene una buena.