Les différence principale entre l'intégration des données et l'ETL est que le L'intégration de données est le processus de combinaison de données dans différentes sources pour fournir une vue unifiée aux utilisateurs tandis que ETL est le processus d'extraction, de transformation et de chargement de données dans un environnement d'entrepôt de données.

L'intégration de données fait référence à la combinaison de données provenant de sources disparates en informations significatives et précieuses. Par conséquent, une solution complète d'intégration de données fournit des données fiables provenant de différentes sources. Il s'agit d'un processus important lors de la fusion de plusieurs systèmes et de la consolidation d'applications pour fournir une vue unifiée des données. D'autre part, ETL est un processus qui est suivi avant de stocker des données dans un entrepôt de données. Il s'agit d'extraire, de transformer et de charger des données.

Big Data, intégration de données, entrepôt de données, ETL

Qu'est-ce que l'intégration de données

L'intégration de données est le processus de combinaison de données situées dans différentes sources pour donner une vue unifiée aux utilisateurs. Cependant, l'intégration des données varie d'une application à l'autre. Dans une application commerciale, deux organisations peuvent fusionner leurs bases de données. Dans une application scientifique comme dans un projet de bioinformatique, les résultats de recherche de divers référentiels peuvent être combinés en une seule unité.

Figure 1: Intégration des données

En outre, une utilisation courante de l'intégration de données consiste à analyser les mégadonnées qui nécessitent le partage de grands ensembles de données dans des entrepôts de données. Dans l'ensemble, l'intégration des données est un processus difficile. De plus, il nécessite une généralité suffisante pour s'adapter à divers systèmes d'intégration tels que les bases de données relationnelles, les bases de données XML, etc.

Qu'est-ce que l'ETL

Un entrepôt de données est un système qui permet d'analyser des données, de créer des rapports et de les visualiser. Les gestionnaires, les analystes de données, les analystes commerciaux peuvent analyser ces données pour prendre des décisions commerciales. Il y a trois étapes à suivre avant de stocker des données dans un entrepôt de données. Il s'appelle ETL. Cela implique l'extraction, la transformation et le chargement de données dans l'entrepôt de données.

Il existe différentes sources de données dans une organisation. La première étape consiste à extraire les données de ces différentes sources. Cependant, l'extraction de données ne doit pas affecter les performances ou le temps de réponse de la source de données d'origine. L'extraction complète et l'extraction partielle sont deux méthodes pour extraire des données.

La deuxième étape est la transformation. Ici, les données extraites sont nettoyées, mappées et converties de manière utile. La sélection, le mappage et le nettoyage des données sont des techniques de transformation de base. De plus, il existe également des techniques avancées de transformation des données. Il s'agit de la normalisation, de la conversion des jeux de caractères et de la gestion de l'encodage, de la division et de la fusion des champs, de la récapitulation et de la déduplication.

La dernière étape consiste à récupérer les données préparées et à les stocker dans l'entrepôt de données. C'est ce qu'on appelle le chargement. Ici, le chargement peut être un chargement initial, un chargement incrémentiel ou un rafraîchissement complet. Le chargement initial consiste à charger la base de données pour la première fois. Le chargement incrémentiel consiste à appliquer les modifications requises de manière périodique, tandis que le rafraîchissement complet consiste à supprimer les données dans une ou plusieurs tables et à recharger avec de nouvelles données.

Différence entre l'intégration de données et l'ETL

Définition

L'intégration de données est le processus consistant à combiner des données résidant dans différentes sources et à fournir aux utilisateurs une vue unifiée de celles-ci. ETL est une fonction en trois étapes d'extraction, de transformation et de chargement qui se produit avant de stocker les données dans l'entrepôt de données. c'est donc la principale différence entre l'intégration de données et l'ETL.

Usage

Les applications scientifiques et commerciales utilisent l'intégration de données tandis que l'entreposage de données est une application qui utilise ETL. C'est une autre différence entre l'intégration de données et l'ETL.

Conclusion

La différence entre l'intégration de données et ETL est que l'intégration de données est le processus de combinaison de données dans différentes sources pour fournir une vue unifiée aux utilisateurs tandis que ETL est le processus d'extraction, de transformation et de chargement de données dans un environnement d'entrepôt de données.

Référence:

1. « Intégration des données ». Wikipédia, Wikimedia Foundation, 4 octobre 2018, disponible ici.2. "Intégration de données." Intégration des données | Informations sur l'intégration des données, disponibles ici.3. vtakkar. 3 – Tutoriel ETL | Extract Transform and Load, Vikram Takkar, 8 septembre 2015, disponible ici.

Image de courtoisie:

1. «Intégration de données (KAFKA) (cas 3)» de Carlos.Franco2018 - Travail personnel (CC BY-SA 4.0) via Commons Wikimedia2. «Architecture de référence Datawarehouse» Par DataZoomers - (CC BY-SA 4.0) via Commons Wikimedia