Hightech

Conseil et optimisation Big Data sur AWS pour la prédiction de fraude

À PROPOS DE NOTRE CLIENT

Notre client est un expert dans la gestion et la simplification des paiements récurrents.

+ 0 années

d'éxpérience dans la gestion et la simplification des paiements

0 M €

de levée de fonds réalisée

0 collaborateurs

+ 0 années

d'expérience dans la gestion et la simplification des paiements

0 M €

de levée de fonds réalisée

0 collaborateurs

CONTEXTE & ENJEUX

La migration de Hortonworks vers un cluster Amazon EMR s’est accompagnée d’une mission de conseil destinée à l’optimisation de la solution.

Objectifs :

Exploiter pleinement les capacités CPU / RAM mises à disposition par EMR
Rendre possible le scaling de la solution et ainsi la construction d’un modèle de Machine Learning destiné à la prédiction de fraude

LA RÉPONSE DE TEAMWORK

Optimiser l’utilisation du cluster EMR pour profiter de toute sa capacité et ainsi pouvoir
scaler suite à l’augmentation de la volumétrie de données à venir.

Notre approche est la suivante :

Analyse de la typologie des données (schéma, format…)
Analyse du code source de l’application lancée sur le cluster (parallélisme, shuffles…)
Analyse de la configuration du cluster EMR (applications installées, nombre de workers, allocation mémoire, spots…)

Le succès de cette phase est une utilisation optimale du cluster EMR en observant 100% de CPU sur l’ensemble des nodes, une allocation mémoire suffisante pour empêcher le swap et le parallélisme optimal de données depuis Amazon S3.

Solutions : Amazon EMR, Amazon S3, Jupyter, Hadoop

LES BÉNÉFICES

Capacité à constuire et entraîner un modèle de Machine Learning
Mise en œuvre effective d’une solution de prédiction de fraude
Mise à disposition d’applications via une API REST (python – serveur Gunicorn)