Forma idiomática de hacer lista / dict en Cython?

Hacer operaciones similares en Python como en C++ a menudo puede ser más lento. list y dict se implementan muy bien, pero se obtiene una gran cantidad de sobrecarga usando objetos Python, que son más abstractos que los objetos C++ y requieren mucha más búsqueda en tiempo de ejecución.

Por cierto, std::vector se implementa de una manera bastante similar a list. std::map, sin embargo, en realidad se implementa de una manera que muchas operaciones son más lentas que dict a medida que su tamaño se hace grande. Para ejemplos adecuadamente grandes de cada uno, dict supera el factor constante por el cual es más lento que std::map y realmente hará operaciones como búsqueda, inserción, etc. más rápido.

Si quieres usar std::map y std::vector, nada te detiene. Tendrás que envolverlos tú mismo si quieres exponerlos a Python. No se sorprenda si este envoltorio consume todo o gran parte del tiempo que esperaba ahorrar. No tengo conocimiento de ninguna herramienta que haga que esto sea automático para usted.

Hay llamadas a la API C para controlar el creación de objetos con algún detalle. Puedes decir "Haz una lista con al menos estos elementos", pero esto no mejora la complejidad general de la operación de creación y llenado de tu lista. Ciertamente no cambia mucho más tarde a medida que intenta cambiar su lista.

Mi consejo general es

• Si desea una matriz de tamaño fijo (se habla de especificar el tamaño de una lista), en realidad puede querer algo como una matriz numpy.

• Dudo que vayas para obtener cualquier aceleración que desee al usar std::vector sobre list para un reemplazo general en su código. Si desea usarlo detrás de las escenas, puede darle una mejora satisfactoria de tamaño y espacio (por supuesto, no lo sé sin medir, ni usted. ;) ).

• dict en realidad hace su trabajo muy bien. Definitivamente no intentaría introducir un nuevo tipo de propósito general para su uso en Python basado en std::map, que tiene peor complejidad algorítmica en el tiempo para muchos operaciones y-al menos en algunas implementaciones-deja algunas optimizaciones al usuario que dict ya tiene.

  Si quisiera algo que funcionara un poco más como std::map, probablemente usaría una base de datos. Esto es generalmente lo que hago si las cosas que quiero almacenar en un dict (o para el caso, las cosas que almaceno en un list) se vuelven demasiado grandes para que me sienta cómodo almacenándolas en la memoria. Python tiene sqlite3 en el stdlib y controladores para todas las demás bases de datos principales disponibles.

C++ es rápido no solo por las declaraciones estáticas del vector y los elementos que van en él, sino crucialmente porque usando templates/genéricos se especifica que el vector solo contendrá elementos de un cierto tipo, por ejemplo, vector con tuplas de tres elementos. Cython no puede hacer esta última cosa y suena no trivial have tendría que ser forzada en tiempo de compilación, de alguna manera (typechecking en tiempo de ejecución es lo que Python ya hace). Así que ahora mismo cuando usted pop algo de un list en Cython no hay forma de saber de antemano de qué tipo es , y ponerlo en una variable mecanografiada solo agrega una comprobación de tipo, no velocidad. Esto significa que no hay manera de pasar por alto el intérprete de Python en este sentido, y me parece que es el defecto más crucial de Cython para tareas no numéricas.

La forma manual de resolver esto es subclasificar la lista/dict de python (o tal vez std::vector) con una clase cdef para un tipo específico de elemento o combinación clave-valor. Este equivaldría a lo mismo que el código que las plantillas están generando. Mientras utilice la clase resultante en código Cython, debería proporcionar una mejora.

El uso de bases de datos o arrays solo resuelve un problema diferente, porque se trata de colocar objetos arbitrarios (pero con un tipo específico, y preferiblemente una clase cdef) en contenedores.

Y std:: map no debe compararse con dict; std:: map mantiene las claves en orden porque es un árbol equilibrado, dict resuelve un otro problema. Una mejor comparación sería dict y hashtable de Google.

Puedes echar un vistazo a la norma array módulo para Python si es apropiado para su configuración de Cython. No estoy seguro ya que nunca he usado Cython.

No hay manera de obtener listas/dictados nativos de Python a la velocidad de un mapa/vector de C++ o incluso en cualquier lugar cercano. No tiene nada que ver con la asignación o la declaración de tipos, sino que paga los gastos generales del intérprete. El ejemplo que mencionas (numpy) es una extensión C y está escrito en C precisamente por esta razón.