Mise en Oeuvre d’un Entrepôt de Données sous Hadoop

Abstract

La production massive de données de santé impose aux systèmes décisionnels des nouvelle exigences : de voluminosité, variation de source de données, intégration de données non structurées et de traitement analytique performant, Or les infrastructures des entrepôts de données traditionnels sont inadaptées à ces nouvelles exigences de volume massive de données. L’émergence de nouvelles technologie scala blé et évolutif tel qu’Hadoop a rendu possible le stockage et le traitement d’un grand volume de données. Hadoop est basé sur d’une architecture de développement dédiée aux stockages distribués et calculs parallèles, il permet la manipulation des données en très grande quantité, distribuées sur le cluster de nœuds de serveurs. C’est ainsi que des données non structurées peuvent faire l’objet d’un traitement analytique et que la décomposition de données en blocs accélère le traitement des requêtes. Plusieurs organismes tels que Face book, Amazone et Microsoft, ont adopté Hadoop comme plate-forme d’entrepôt de données en utilisant son composant d’entreposage ’Hive’. Une nouvelle génération d’entrepôt de données a vu le jour, une génération d’entrepôts basé sur une approche décentralisé, qui intègre différentes types de données comme les fichiers XML et HTML, issues de diverses sources de données, de quantité volumineuse et qui garantit un traitement analytique en un temps de réponse correct. Dans cette perspective, l’objectif de ce travail est de développer un système décisionnel capable de garantir une distributivité optimale des unités et éléments du système sanitaire, pour cela nous avons implémenté notre entrepôt sous la plate-forme Hadoop avec l’outil Hive. En suivant une modélisation de données qui se présente par un schéma de constellation sur quoi nous avons intégré deux concepts d’Hive qui sont le partitionnement et le buckets, afin de combler le manque d’implémentation de clé primaire et étrangère, qui garantit aussi une performance d’exécution de requêtes en un temps de réponse optimal