base de datos vs archivos planos

Esta es una respuesta que ya he dado hace algún tiempo:

Depende enteramente de la necesidades de aplicaciones específicas del dominio. Un muchas veces archivo de texto directo / binario el acceso a los archivos puede ser extremadamente rápido, eficiente, así como proporcionarle todas las capacidades de acceso a archivos de el sistema de archivos de tu sistema operativo.

Además, su lenguaje de programación lo más probable es que ya tiene un módulo (o es fácil de hacer uno) para análisis específico.

Si lo que necesitas son muchos anexos (INSERTOS?) y secuencial / poco acceso poca / ninguna concurrencia, los archivos son bien hecho.

Por otro lado, cuando su requisitos para la concurrencia, lectura/escritura no secuencial, atomicidad, permisos atómicos, su los datos son relacionales por naturaleza, etc., usted será mejor con un base de datos relacional u OO.

Hay mucho que puede ser realizado con SQLite3 , que es extremadamente ligero (menos de 300kb), ACIDO compatible, escrito en C / C++, y altamente ubicuo (si no lo es ya incluido en su lenguaje de programación -por ejemplo Python-, seguramente hay uno disponible). Puede ser útil incluso en archivos de base de datos tan grandes como 140 terabytes, o 128 tebibytes (Enlace al tamaño de la base de datos), es posible mas.

Si sus requisitos son más grandes, ni siquiera habría una discusión., ve por un RDBMS en toda regla.

Como usted dice en un comentario que "el sistema" es simplemente un montón de scripts, entonces usted debe echar un vistazo a pgbash.

No lo construyas si puedes comprarlo.

Escuché esta cita recientemente, y realmente parece apropiado como una línea de guía. Pregúntate esto... ¿Cuánto tiempo pasó trabajando en la parte de manejo de archivos de su aplicación? Sospecho que se pasó una buena cantidad de tiempo optimizando este código para el rendimiento. Si hubiera estado utilizando una base de datos relacional todo el tiempo, habría pasado mucho menos tiempo manejando esta parte de su aplicación. Habrías tenido más tiempo para la verdad aspecto "empresarial" de tu aplicación.

Bases de datos todo el camino.

Sin embargo, si todavía tiene una necesidad de almacenar archivos, no tiene la capacidad de tomar un nuevo RDBMS (como Oracle, SQLServer, etc.), que buscar en XML.

XML es un formato de archivo de estructura que le ofrece la capacidad de almacenar cosas como un archivo, pero le da poder de consulta sobre el archivo y los datos dentro de él. Los archivos XML son más fáciles de leer que los archivos planos y se pueden transformar fácilmente aplicando un XSLT para una mejor legibilidad humana. XML es también es una excelente manera de transportar datos si es necesario.

Sugiero encarecidamente una base de datos, pero si no puede ir por esa ruta, XML es un segundo ok.

Son más rápidos; a menos que esté cargando todo el archivo plano en la memoria, una base de datos permitirá un acceso más rápido en casi todos los casos.

Son más seguros; las bases de datos son más fáciles de respaldar de forma segura; tienen mecanismos para verificar si hay corrupción de archivos, lo que no sucede con los archivos planos. Una vez que la corrupción en su archivo plano migra a sus copias de seguridad, ya está, y es posible que ni siquiera lo sepa todavía.

Tienen más características; las bases de datos pueden permitir que muchos usuarios lean / escriban al mismo tiempo tiempo.

Son mucho menos complejos para trabajar con ellos, una vez que están configurados.

¿Qué pasa con una base de datos no relacional (NoSQL) como SimpleDB de Amazon, Tokio Cabinet, etc.? He oído que Google, Facebook, LinkedIn están usando estos para almacenar sus enormes conjuntos de datos.

¿Puede decirnos si sus datos están estructurados, si su esquema es fijo, si necesita replicabilidad fácil, si los tiempos de acceso son importantes, etc.?

Qué tipos de archivos no se mencionan. Si son archivos multimedia, siga adelante con los archivos planos. u probablemente solo necesita una base de datos para las etiquetas y alguna forma de asociar los "BLOBs externos" a los registros en la base de datos. pero si la búsqueda de texto completo es algo que necesita, no hay otra forma de hacerlo que migrar a una base de datos completa.

Otra cosa, su sistema de archivos podría proporcionar el techo en cuanto al número de archivos físicos se refiere.

Las capacidades de consulta ad hoc SQL son una razón suficiente para mí. Con un buen esquema e indexación en las tablas, esto es rápido y efectivo y tendrá un buen rendimiento.

A menos que esté cargando los archivos en la memoria cada vez que arranque, use una base de datos. Así de simple.

Eso es asumiendo que sus universidades ya tienen el programa para manejar consultas a los archivos. Si no, utilice una base de datos.

La diferencia entre la base de datos y los archivos planos se dan a continuación:

• La base de datos proporciona más flexibilidad, mientras que el archivo plano proporciona menos flexibilidad.

• El sistema de base de datos proporciona consistencia de datos, mientras que el archivo plano no puede proporcionar consistencia de datos.

• La base de datos es más segura sobre archivos planos.

• La base de datos admite DML y DDL, mientras que los archivos planos no pueden soportar estos.

• Menos redundancia de datos en la base de datos, mientras que más datos redundancia en archivos planos.