Las tablas delta son los componentes clave de un Delta Lake, una capa de almacenamiento de código abierto que lleva las transacciones ACID (atomicidad, consistencia, aislamiento, durabilidad) a las cargas de trabajo de big data.
El concepto y la implementación de las tablas Delta (y por asociación, Delta Lakes) fueron realizados por el equipo de Databricks, la empresa que creó Spark.
Databricks es ahora una plataforma basada en la nube para ingeniería de datos, aprendizaje automático y análisis, creada en torno a Apache Spark, y que proporciona un entorno unificado para trabajar con cargas de trabajo de big data. Las tablas delta son un componente clave de ese entorno.
Como vengo de AWS, las tablas Delta me recuerdan un poco al servicio Athena de AWS, que permite realizar operaciones SQL SELECT en archivos alojados en S3, el servicio de almacenamiento masivo de AWS.
Sin embargo, existe una diferencia clave. Athena está diseñada para ser una herramienta de solo consultas, mientras que las tablas Delta permiten ACTUALIZAR, ELIMINAR e INSERTAR registros de datos fácilmente, así como consultar datos desde ellos. En este sentido, las tablas Delta actúan más como tablas con formato Apache Iceberg. Pero la ventaja que tienen sobre las tablas Iceberg es que están más estrechamente integradas con el ecosistema Spark.