ARCHITECTURE

Big Data : L’architecture

Une infrastructure Big Data est le plus souvent composée des trois éléments suivants (ou de leurs équivalents sur le marché) : Hadoop, HDFS et MapReduce. Ces trois composants essentiels sont conçus pour permettre la collecte, le stockage, l’analyse et la consolidation de gros volumes de données hétérogènes, formés de données structurées et non structurées.


Hadoop

hadoop
La solution Hadoop s’est pour l’instant imposée sur le marché du Big Data. Il s’agit d’un framework open source d’architecture distribuée. Les développements de ce framework Hadoop (développé en Java) sont assurés par la Fondation Apache. De même que le système de fichiers distribués HDFS (hadoop Distributed File System).

Hadoop supporte plusieurs types de SGBD distribué (SGBD NoSQL), en premier lieu HDFS et HBase, mais il supporte aussi d’autres systèmes de gestion de bases de données NoSQL comme Cassandra par exemple.
En savoir plus sur Hadoop
 

HDFS

Hadoop HDFS
HDFS assure la distribution des données sur les serveurs, dont le nombre peut être très élevé. HDFS est capable de pallier les défaillances de certains serveurs et d’assurer sans baisse de performance le traitement continu des données.
En savoir plus sur HDFS
 

MapReduce

Hadoop MapReduce
MapReduce est un modèle d’architecture capable d’effectuer des calculs complexes et distribués sur de gros volumes de données distribuées.


En savoir plus sur MapReduce

A lire aussi : Emploi Big DataHadoopArchitecture HDFSMapReduceEntreprises Big Data

Big Data : L’architecture