Cómo debería estructurar un paquete Python que contiene código Cython

Añadiendo a la respuesta de Craig McQueen: vea a continuación cómo anular el comando sdist para que Cython compile automáticamente sus archivos fuente antes de crear una distribución fuente.

De esa manera no corre ningún riesgo de distribuir accidentalmente fuentes C obsoletas. También ayuda en el caso de que tenga un control limitado sobre el proceso de distribución, por ejemplo, al crear automáticamente distribuciones a partir de la integración continua, etc.

from distutils.command.sdist import sdist as _sdist

...

class sdist(_sdist):
    def run(self):
        # Make sure the compiled Cython files in the distribution are up-to-date
        from Cython.Build import cythonize
        cythonize(['cython/mycythonmodule.pyx'])
        _sdist.run(self)
cmdclass['sdist'] = sdist

Http://docs.cython.org/src/reference/compilation.html#distributing-cython-modules

Se recomienda encarecidamente que distribuya el generado .c, así como sus fuentes de Cython, para que los usuarios puedan instalar su módulo sin necesidad de tener Cython disponible.

También se recomienda que la compilación de Cython no esté habilitada por defecto en la versión que distribuya. Incluso si el usuario tiene Cython instalado, probablemente no quiera usarlo solo para instalar su módulo. Además, la versión que tiene puede no ser la misma que usaste, y puede no compilar tus fuentes correctamente.

Esto simplemente significa que el setup.py el archivo con el que se envía solo será un archivo distutils normal en el generado .archivos c, para el ejemplo básico tendríamos en su lugar:

from distutils.core import setup
from distutils.extension import Extension

setup(
    ext_modules = [Extension("example", ["example.c"])]
)

¿Lo más fácil es incluir ambos, pero solo usar el archivo c? Incluyendo el .el archivo pyx es agradable, pero no es necesario una vez que tenga el .archivo c de todos modos. La gente que quiere recompilar el .pyx puede instalar Pyrex y hacerlo manualmente.

De lo contrario, debe tener un comando build_ext personalizado para distutils que primero compile el archivo C. Cython ya incluye uno. http://docs.cython.org/src/userguide/source_files_and_compilation.html

Lo que esa documentación no hace es decir cómo hacer esto condicional, pero

try:
     from Cython.distutils import build_ext
except ImportError:
     from distutils.command import build_ext

Debería manejarlo.

Incluyendo (Cython) generado .los archivos c son bastante raros. Especialmente cuando incluimos eso en git. Prefiero usar setuptools_cython. Cuando Cython no está disponible, construirá un egg que tiene un entorno Cython incorporado, y luego construirá su código usando el egg.

Un posible ejemplo: https://github.com/douban/greenify/blob/master/setup.py

Actualización (2017-01-05):

Desde setuptools 18.0, no hay necesidad de usar setuptools_cython. Aquí es un ejemplo para construir Cython project desde cero sin setuptools_cython.

Este es un script de instalación que escribí que hace que sea más fácil incluir directorios anidados dentro de la compilación. Uno necesita ejecutarlo desde una carpeta dentro de un paquete.

Givig estructura como esta:

__init__.py
setup.py
test.py
subdir/
      __init__.py
      anothertest.py

Setup.py

from setuptools import setup, Extension
from Cython.Distutils import build_ext
# from os import path
ext_names = (
    'test',
    'subdir.anothertest',       
) 

cmdclass = {'build_ext': build_ext}
# for modules in main dir      
ext_modules = [
    Extension(
        ext,
        [ext + ".py"],            
    ) 
    for ext in ext_names if ext.find('.') < 0] 
# for modules in subdir ONLY ONE LEVEL DOWN!! 
# modify it if you need more !!!
ext_modules += [
    Extension(
        ext,
        ["/".join(ext.split('.')) + ".py"],     
    )
    for ext in ext_names if ext.find('.') > 0]

setup(
    name='name',
    ext_modules=ext_modules,
    cmdclass=cmdclass,
    packages=["base", "base.subdir"],
)
#  Build --------------------------
#  python setup.py build_ext --inplace

Feliz compilación;)

El simple truco que se me ocurrió:

from distutils.core import setup

try:
    from Cython.Build import cythonize
except ImportError:
    from pip import pip

    pip.main(['install', 'cython'])

    from Cython.Build import cythonize


setup(…)

Simplemente instale Cython si no se pudo importar. Uno probablemente no debería compartir este código, pero para mis propias dependencias es lo suficientemente bueno.

La forma más fácil que encontré usando solo setuptools en lugar de la característica distutils limitada es

from setuptools import setup
from setuptools.extension import Extension
try:
    from Cython.Build import cythonize
except ImportError:
    use_cython = False
else:
    use_cython = True

ext_modules = []
if use_cython:
    ext_modules += cythonize('package/cython_module.pyx')
else:
    ext_modules += [Extension('package.cython_module',
                              ['package/cython_modules.c'])]

setup(name='package_name', ext_modules=ext_modules)

Todas las demás respuestas dependen de

• distutils
• importando desde Cython.Build, lo que crea un problema de gallina y huevo entre requerir cython a través de setup_requires e importarlo.

Una solución moderna es setuptools en su lugar, ver esta respuesta (el manejo automático de extensiones de Cython requiere setuptools 18.0, es decir, está disponible desde hace muchos años). Un estándar moderno setup.py con manejo de requisitos, un punto de entrada y un módulo cython podría parecer así:

from setuptools import setup, Extension

with open('requirements.txt') as f:
    requirements = f.read().splitlines()

setup(
    name='MyPackage',
    install_requires=requirements,
    setup_requires=[
        'setuptools>=18.0',  # automatically handles Cython extensions
        'cython>=0.28.4',
    ],
    entry_points={
        'console_scripts': [
            'mymain = mypackage.main:main',
        ],
    },
    ext_modules=[
        Extension(
            'mypackage.my_cython_module',
            sources=['mypackage/my_cython_module.pyx'],
        ),
    ],
)