¿Qué problemas de escalabilidad están asociados con NetworkX?

Estoy interesado en el análisis de redes en redes grandes con millones de nodos y decenas de millones de bordes. Quiero poder hacer cosas como analizar redes de muchos formatos, encontrar componentes conectados, detectar comunidades y ejecutar medidas de centralidad como PageRank.

Me atrae NetworkX porque tiene una buena api, buena documentación y ha estado en desarrollo activo durante años. Además, debido a que está en python, debería ser rápido de desarrollar.

En a presentación reciente (las diapositivas están disponibles en github aquí), se afirmó que:

A diferencia de muchas otras herramientas, NX está diseñado para manejar datos en una escala relevante para los problemas modernos...La mayoría de los algoritmos principales de NX se basan en un código heredado extremadamente rápido.

La presentación también indica que los algoritmos base de NetworkX están implementados en C/Fortran.

Sin embargo, mirando el código fuente, parece que NetworkX está escrito principalmente en python. Me no estoy muy familiarizado con el código fuente, pero soy consciente de un par de ejemplos donde NetworkX utiliza numpy para hacer trabajos pesados (que a su vez utiliza C/Fortran para hacer álgebra lineal). Por ejemplo, el archivo networkx/networkx/algorithms/centrality/eigenvector.py utiliza numpy para calcular los vectores propios.

¿Alguien sabe si esta estrategia de llamar a una biblioteca optimizada como numpy es realmente frecuente en NetworkX, o si solo unos pocos algoritmos lo hacen? También puede alguien describir otros problemas de escalabilidad asociados con ¿NetworkX?

Respuesta de NetworkX Lead Programmer Planteé esta pregunta en la lista de correo de NetworkX, y Aric Hagberg respondió:

Las estructuras de datos utilizadas en NetworkX son apropiadas para escalar a grandes problemas (por ejemplo, la estructura de datos es una lista de adyacencia). El los algoritmos tienen varias propiedades de escalado, pero algunas de las mencionar son utilizables (por ejemplo, PageRank, componentes conectados, son lineales complejidad en el número de aristas).

En este punto NetworkX es código Python puro. La estructura de adyacencia está codificado con diccionarios Python que proporciona una gran flexibilidad a expensas de la memoria y la velocidad computacional. Los gráficos grandes toma mucha memoria y eventualmente te quedarás sin.

NetworkX utiliza NumPy y SciPy para algoritmos que son principalmente basado en álgebra lineal. En ese caso se representa el gráfico (copiado) como una matriz de adyacencia usando matrices NumPy o SciPy matrices dispersas. Esos algoritmos pueden beneficiarse del legado C y Código FORTRAN que se utiliza bajo el capó en NumPy y SciPY.