Choisissez votre localisation
Europe
Asie
Amérique
Afrique

Hightech

Conseil et optimisation Big Data sur AWS pour la prédiction de fraude

À PROPOS DE NOTRE CLIENT

Notre client est un expert dans la gestion et la simplification des paiements récurrents.

+ 0 années
d'éxpérience dans la gestion et la simplification des paiements
0 M €
de levée de fonds réalisée
0 collaborateurs
+ 0 années
d'expérience dans la gestion et la simplification des paiements
0 M €
de levée de fonds réalisée
0 collaborateurs

CONTEXTE & ENJEUX

La migration de Hortonworks vers un cluster Amazon EMR s’est accompagnée d’une mission de conseil destinée à l’optimisation de la solution.

 

Objectifs :

  • Exploiter pleinement les capacités CPU / RAM mises à disposition par EMR
  • Rendre possible le scaling de la solution et ainsi la construction d’un modèle de Machine Learning destiné à la prédiction de fraude

LA RÉPONSE DE TEAMWORK

Optimiser l’utilisation du cluster EMR pour profiter de toute sa capacité et ainsi pouvoir​
scaler suite à l’augmentation de la volumétrie de données à venir.

Notre approche est la suivante :​

  • Analyse de la typologie des données (schéma, format…)​
  • Analyse du code source de l’application lancée sur le cluster (parallélisme, shuffles…)​
  • Analyse de la configuration du cluster EMR (applications installées, nombre de workers, allocation mémoire, spots…)​

Le succès de cette phase est une utilisation optimale du cluster EMR en observant 100% de CPU sur l’ensemble des nodes, une allocation mémoire suffisante pour empêcher le swap et le parallélisme optimal de données depuis Amazon S3.

 

Solutions : Amazon EMR, Amazon S3, Jupyter, Hadoop

LES BÉNÉFICES

  • Capacité à constuire et entraîner un modèle de Machine Learning
  • Mise en œuvre effective d’une solution de prédiction de fraude
  • Mise à disposition d’applications via une API REST (python – serveur Gunicorn)

Découvrez nos références clients

Contactez-nous
x
* Obligatoire
x
Choisissez votre localisation
USA Canada FR Canada EN France Luxembourg FR Luxembourg EN Genève Berne/Zurich Allemagne Slovaquie Inde Chine Vietnam Singapour Mauritius Mauritius Suisse Allemagne