MAPREDUCE

Fonctionnement de MapReduce



MapReduce est un modèle de programmation, défini également comme un modèle d’architecture informatique, conçu pour réaliser des calculs parallèles et distribués sur des données très volumineuses. MapReduce est implémenté sur des plates-formes de développement appelées frameworks, dont la plus connue à ce jour est Hadoop. Mais d’autres frameworks implémentent également MapReduce pour profiter de toutes les performances potentielles que permet ce modèle d’architecture.

MapReduce assure une fonction essentielle dans la gestion des gros volumes de données : la distribution de ces données sur un grand nombre de machines serveurs. Cette fonction autorise le traitement en parallèle de nombreuses tâches. La fonction Map réalise des opérations dédiées à chaque élément. La fonction Reduce rassemble tous ces éléments et délivre le résultat sous forme condensée.

Voici le schéma du fonctionnement du composant MapReduce :

mapreduce hadoop bigdata
Fonctionnement de MapReduce (architecture Big Data)

A ce jour, la plate-forme Hadoop est la plus utilisée sur le marché, et en premier lieu par les acteurs majeurs du web comme Google, Yahoo!, Microsoft, Amazon, eBay, Facebook, Twitter, LinkedIn, Spotify, StumbleUpon…

Les marchés de Hadoop et MapReduce sont en forte croissance actuellement.



A lire aussi : Plate-forme HadoopArchitecture HDFSentreprises Big Data

MapReduce