Velocity 2015 : Building Real-Time metrics pipeline par AOL

28 octobre 2015 Par Posté dans Expertise

 

La conférence internationale dédiée à la performance Web ainsi qu’aux opérations, Velocity 2015, se tient cette année à Amsterdam.

Lors de cette première journée, nous avons pu assister à une présentation très intéressante de la part d’AOL  (aujourd’hui recentré sur les médias) intitulée “Building Real-Time metrics pipeline”.

 

 

Il s’agit d’une présentation de leur plateforme de collecte et traitement de données temps réel.

Il est très intéressant de découvrir ici que les objectifs de cette plateforme sont la mise à disposition d’informations provenant de sources diverses (terminaux clients, internes AOL ou externes) à différents “consommateurs” qui peuvent être :

  • des outils de visualisation temps réel,
  • des outils analytiques temps réel,
  • d’autres services.

Les concepteurs de cette plateforme se sont fixés des objectifs ambitieux puisqu’ils comptent collecter et analyser 1,3 milliards d’évènements par jour.

D’un point de vue technique, les données sont vues comme un flux sur lequel sont connectés les différents éléments du système. Pour créer ce flux, et permettre à différents consommateurs d’y accéder, AOL a utilisé RabbitMQ. Notons que RabbitMQ est écrit avec le langage Erlang, lui même très utilisé dans le monde des télécommunication  pour les aspects temps réel.

AOL Pipeline

Fig1: schéma du flux d’information et des consommateurs

 

Des micro services, développés sur la base de NodeJs, permettent ensuite d’accéder aux données pour servir les objectifs de la plateforme que sont la visualisation et l’analyse.

La consolidation des données et leur agrégation sont traitées grâce à ElasticSearch permettant l’interrogation rapide, l’analyse et la visualisation.

La suite des travaux envisagés par AOL concerne l’exploitation de ces données notamment à des fins d’analyse prédictive temps réel de la performance (Real time predictive performance analysis) ainsi que l’analyse de sentiment temps réel (Real time social sentiment analysis), très en vogue en ce moment.

Enfin, AOL annonce avoir en projet la migration de la plateforme sur Amazon AWS, preuve que ce type d’infrastructure nécessite des évolutions constantes qu’il est difficile d’obtenir avec une gestion d’infrastructure en propre.

 

Laisser un commentaire

Votre adresse email ne sera pas publié