Databricks lance son framework ETL, Delta Live Tables

lundi 11 avril 2022

Delta Live Tables est annoncé. Il sera le premier framework ETL à gérer automatiquement l’infrastructure et à appliquer à la data des pratiques d’ingénierie logicielle. Objectif : oublier la gestion des pipelines.

Databricks annonce la disponibilité de [1]Delta Live Tables (DLT), premier framework ETL à utiliser une approche déclarative pour construire des pipelines de données et gérer automatiquement l’infrastructure de données à l’échelle.

" Transformer des requêtes SQL en pipelines ETL en production nécessite souvent un travail opérationnel fastidieux et compliqué. En utilisant des pratiques modernes d’ingénierie logicielle pour automatiser les parties les plus chronophages de la data ingénierie, les ingénieurs data et les analystes peuvent se concentrer sur la fourniture de données plutôt que sur l’exploitation et la maintenance des pipelines . "

Delta Live Tables veut simplifier le développement ETL en permettant aux ingénieurs de décrire simplement les résultats des transformations de données. Ce qui lui permet de comprendre dépendances de l’ensemble du pipeline de données et d’automatiser la quasi-totalité de la complexité manuelle.

De plus, il permet de traiter les données comme du code et " d’appliquer les bonnes pratiques de l’ingénierie logicielle moderne ", telles que les tests, le traitement des erreurs, le monitoring et la documentation, afin de déployer plus facilement des pipelines fiables à l’échelle.

La solution prend entièrement en charge Python et SQL et est conçu pour fonctionner avec des workloads en continu et par batch. La [2]documentation est à jour sur le site de l’éditeur, en anglais.

[3]



[1] https://databricks.com/fr/product/delta-live-tables

[2] https://docs.databricks.com/data-engineering/delta-live-tables/index.html?_ga=2.62526316.1531292477.1649491308-1111601361.1649491308

[3] https://www.toolinux.com/?databricks-lance-son-framework-etl-delta-live-tables#forum