Bilan du projet FUI 16, métrologie des services et réseaux mobiles

08 novembre 2016 Par Posté dans Expertise

Le projet PoQEMoN* vise à mettre au point le système de référence en France et en Europe de la mesure de la qualité perçue des réseaux et services mobiles. Ce projet a été soutenu par le pôle de compétitivité Systematic, l’état à travers le dispositif FUI (BPI France et la DGE) ainsi que par la région Ile-de-France.

Les 9 partenaires (Orange, Altran, Next Interactive Media, GenyMobile, Data Publica, HEC, INRIA-Orpailleur et UPEC-Lissi) ont mené à bien le projet qui s’est achevé le 1er Juillet 2016 et l’ensemble des résultats a pu être présenté aux organismes de financement ainsi qu’à différents acteurs de l’écosystème ciblé.

ip-label, en tant que chef de file du projet, a veillé à la coordination des partenaires, à l’avancement des travaux et aux relations avec les autorités publiques. Les activités de management du projet se sont matérialisées à travers 12 réunions de comité de pilotage.

Partenaires dispositif FUI

 

 

 

 

 

 

 

 

Les résultats obtenus

Métrologie et infrastructure de test

ip-label et GenyMobile ont travaillé ensemble à la définition des librairies de code permettant de développer les outils de métrologie. GenyMobile a apporté son expertise dans la découverte des API bas niveaux sur système Android, permettant de capturer des métriques au niveau de la pile TCP. ip-label a effectué le développement du Framework de métrologie. ip-label a aussi déployé un réseau de serveurs de test situé en Europe, Asie et Amérique du Nord pour être en mesure de délivrer un outil de mesure mondial.

Ce réseau a été déployé sur le cloud Amazon sur des serveurs ayant de grosses capacités en trafic réseau. Les serveurs ont été qualifiés par ip-label et GenyMobile en effectuant des batteries de tests automatisés. Un système de routage dynamique a été mis en place pour que le test soit effectué sur le serveur de mire le plus proche de l’internaute.

 

Application de mesure de la QoE vidéo mobile

Les partenaires ont travaillé sur une application dédiée à l’étude de la mesure de la QoE et des corrélations QoS/QoE. Pour ce faire, l’usage choisi était la vidéo streaming mobile. Ainsi, les partenaires se sont appuyés sur le Framework de métrologie pour définir le fonctionnement de l’application. Altran a coordonné ce SP afin que soit développée une application comportant deux parties :

  • un questionnaire à remplir par l’utilisateur permettant de cerner son profil et de récolter l’évaluation de la qualité de visionnage,
  • un outil de visionnage des flux YouTube permettant de collecter les informations relatives à la qualité du réseau au niveau du terminal.

La structuration des données a aussi été définie de manière à pouvoir automatiser la collecte des résultats dans une base de données pour ensuite mener les études. HEC a participé à la définition des campagnes de tests. Une fois les spécifications définies, elle a réalisé quelques séries de tests mais a réalisé un partage des tâches avec l’UPEC : tandis que l’UPEC se consacrait à la conduite intensive des tests sur l’application de mesure vidéo, HEC a concentré ses efforts sur l’application crowdsourcing (01net.com SpeedTest).

Application 01Net Speed QoE

 

 

 

 

 

 

 

Modélisation de la QoE et corrélation QoS/QoE

Cette partie du projet a permis de travailler la modélisation de la QoE en s’appuyant sur les résultats des travaux précédents. Pour cela, des campagnes d’évaluation ont été mises en place par UPEC et Orange. Au total, 2100 évaluations ont été menées par 218 utilisateurs, ce qui constitue une base de données très importante pour ce type de test. Afin de structurer les données collectées, l’UPEC a proposé un modèle formel. Cette base de données a permis d’affiner les différentes analyses statistiques qui portent sur l’interaction entre les différents facteurs impactant la perception de l’usager afin d’en tirer les caractéristiques discriminantes et de sélectionner ainsi les meilleurs facteurs impactant les usagers en fonction de leurs contextes. Ces analyses ont permis à l’UPEC de proposer un modèle de prédiction perception réelle de l’usager basé sur une approche à facteurs sélectionnés, multi-modulaire, adaptative et autorégulée utilisant des outils d’intelligence artificielle. Enfin, l’UPEC a entamé une compagne d’expérimentation et de validation du modèle proposé en l’intégrant dans un lecteur de vidéo implémentant le standard MPEG-Dash.

Orange s’est particulièrement intéressée à la corrélation entre la qualité de service QoS, qui peut être mesurée via des outils automatiques, et la qualité d’expérience utilisateur QoE, qui requiert des sondages clients impossibles à mettre en œuvre à grande échelle.  Orange a travaillé à partir des données remontées par le démonstrateur vidéo. Celui-ci met en œuvre une application sur mobile permettant à l’utilisateur de regarder des vidéos YouTube. A la fin du visionnage, un questionnaire est automatiquement envoyé à l’utilisateur pour recueillir sa perception qualitative.
Orange a ensuite pu comparer sa vision (qualité de service) avec la qualité perçue par l’utilisateur (qualité d’expérience) mais aussi avec ce qui est remonté par le terminal lui-même au travers des indicateurs VLC. De cette étude, plusieurs enseignements ont été tirés sur le fonctionnement des flux vidéo diffusés par Youtube. Ainsi, grâce aux études menées dans le projet PoQeMON, Orange a pu identifier des indicateurs simples et donc utilisables à l’échelle d’un opérateur pour prédire la QoE de ses utilisateurs pour des contenus de type YouTube.

 

Application crowdsourcing 01net.com SpeedTest

Dans cette partie du projet, les partenaires ont travaillé, en s’appuyant sur les résultats des travaux précédents, à développer et déployer une application de mesure grand public 01net.com SpeedTest. Ces développements ont été faits en s’appuyant aussi sur les résultats du SP5 concernant l’anonymisation des données en respect avec les directives en vigueur. Un design de l’application a été effectué par Next Interactive. Une série très importante de tests permettant la validation de l’application dans des contextes divers et variés ainsi que dans le but de remplir la base de donnée de mesure puisque celle-ci apparaît au niveau de l’utilisateur à travers une cartographie des résultats a été menée. Les résultats de mesure ont été structurés dans une base de données permettant ensuite de mettre en place les différents outils du SP5. Data Publica a aussi apporté son soutien à ce sous-projet en utilisant et en testant l’application puis en fournissant un feedback sur son utilisation.

HEC a largement contribué à la validation du prototype en conduisant une première série de mesures centrées sur la région parisienne. Après cette première phase, elle a réalisé des campagnes de mesures ayant pour objectif de démontrer l’intérêt pour les abonnés des réseaux de communication, les opérateurs de télécommunications , les collectivités territoriales et plus largement, les opérateurs d’infrastructures de transport et acteurs de la mobilité, de l’application 01net.com SpeedTest et de la valeur des mesures réalisées. Ainsi, des campagnes de tests ont été réalisées sur Paris concernant deux opérateurs, puis une campagne plus large portant sur 99,92% des infrastructures du réseau ferré national ouvert au transport régulier de voyageurs de la SNCF. Plus de 100.000 mesures ont donc été réalisées dans ce cadre pendant la durée du projet.

Application 01Net SpeedTest

 

 

 

 

 

 

 

Anonymisation, analyse, fouille et visualisation des données

Data Publica a assuré la coordination de ce ces travaux avec Inria Orpailleur, ip-label et HEC
La partie spécifique de Data Publica était le développement d’une Dataviz pour présenter de façon visuelle et compréhensible les résultats du projet. Ce développement s’est fait en deux phases :

  • réalisation d’une première maquette à l’échelle du métro parisien. Cette première maquette a permis de tester les premières idées de représentation, et de choisir les analyses à mettre en valeur,
  • passage à l’échelle de la France métropolitaine pour les lignes SNCF. En tirant les leçons de la première maquette, une nouvelle Dataviz a été développée qui couvre la France et permet de présenter l’ensemble des résultats sur le réseau SNCF en intégrant les données de l’API Open Data de la SNCF.

Nous avons en outre réalisé un outil permettant la saisie interactive du tracé des voies ferrées commerciales de la SNCF. Cet outil a été utilisé par HEC pour produire une carte de qualité du tracé des voies commerciales.

Les travaux menés par INRIA concernaient le développement d’algorithmes d’anonymisation ainsi que la visualisation des données. L’anonymisation dans le cadre du projet PoQEMON est essentielle à plusieurs niveaux. Tout d’abord, les données du projet sont récupérées de manière participative auprès des utilisateurs et cela requiert des méthodes d’anonymisation à la source. De plus, le consortium souhaite publier et analyser certaines données afin de les transformer en connaissances du domaine, ce travail nécessite des algorithmes de fouille de données présentant, par nature, des garanties sur le respect de la vie privée.

Projet INRIA Dispositif FUI

 

 

 

 

 

 

 

 

 

Afin de mettre en place ces algorithmes, nous avons d’abord travaillé sur l’élaboration d’un démonstrateur web d’analyse des données. Ce démonstrateur nous permet dans un premier temps de visualiser les données récupérées dans le projet, puis d’y appliquer des algorithmes de fouille de données afin de les analyser et de mieux les comprendre. La deuxième partie de notre projet s’est focalisée sur l’implémentation des algorithmes d’anonymisation de données en nous basant sur des publications scientifiques reconnues du domaine. Cette partie s’appuie sur les méthodes d’extraction de règles d’associations et l’amélioration d’une procédure d’anonymisation afin de l’appliquer de manière efficace dans le cadre du projet.

De plus, INRIA avec l’équipe-projet Orpailleur a également participé à des actions de communication afin de présenter le projet, comme par exemple l’édition de 2015 des Rencontres INRIA-Industrie à Bordeaux.

 

Dissémination et modèle économique

HEC a réalisé une étude sur la dissémination et la valorisation des résultats, notamment sur l’application crowdsourcing 01net.com SpeedTest au-delà de la durée de vie du projet. En partenariat étroit avec ip-label et Next Interactive, des démarches ont été finalisées pour poursuivre l’exploitation des données obtenues par l’application 01net.com SpeedTest pour qu’elles soient disponibles en « open-data » et qu’elles soient accessibles au grand public. En partenariat avec le groupe La Poste, les trois partenaires répondent à l’appel à manifestation d’intérêt lancée par l’ARCEP sur le crowdsourcing. Enfin, des démarches sont engagées auprès des différents acteurs de la mobilité : opérateurs de transport, collectivités territoriales, fédération d’usagers pour diffuser, soit très largement, soit sur des niches très ciblées, les résultats de l’utilisation de l’application crowdsourcing.

Le nombre d’actions de dissémination du projet a augmenté en lien direct avec l’avancée des études du projet. HEC a notamment présenté les résultats au Mobile World Congress de Barcelone en février 2016 sur le pavillon de la French Tech en ayant son propre stand en complément de celui d’ip-label.

 

*PoQEMON : Platform for Quality Evaluation of Mobile Networks.

Laisser un commentaire

Votre adresse email ne sera pas publié