Phase 2 : Modélisation
Pour cet ensemble de données Email Marketing, nous aimerions prédire le statut d’un e-mail (ignoré, lu, reconnu) en fonction des autres attributs, ce qui signifie que nous essayons de résoudre un problème. classification problème.
Après avoir spécifié quelle colonne nous prédisons (Statut_e-mail), AuDaS fournit un cadre robuste pour créer des pipelines de classification qui peuvent être généralisés à d’autres ensembles de données sans perdre trop de puissance prédictive qui est normalement causée par le surapprentissage. Cela implique:
- Retenir automatiquement une retenue équilibrée de 10 % de l’ensemble de données à des fins de validation finale du modèle
- Effectuer une validation croisée 10 fois
- Optimiser le score F1
Les utilisateurs avancés peuvent modifier ces valeurs par défaut selon leurs paramètres préférés (N-fold, split, métrique optimisable,…).
AuDaS utilisera ensuite l’optimiseur bayésien (OPTaaS) exclusif de Mind Foundry pour naviguer efficacement parmi les millions de solutions possibles afin d’identifier un pipeline de classification optimal (ingénierie des fonctionnalités, modèle et paramètres optimaux) en moins de 100 itérations.
En effectuant cette recherche, AuDaS offre à l’utilisateur une transparence totale sur les pipelines, modèles et valeurs de paramètres testés, ainsi que sur leurs statistiques de performances associées et la pertinence des fonctionnalités.
Pour le modèle de classification spécifié, le nombre de mots, le nombre total de communications passées et l’actualité du sujet sont les fonctionnalités les plus pertinentes pour prédire l’état de l’e-mail. L’utilisateur a également accès à une piste d’audit complète de tout le modèle unique qu’AuDaS a essayé.
Phase 3 : Validation et déploiement du modèle
Lorsque l’utilisateur est satisfait des performances du modèle ou a terminé les 100 itérations, AuDaS validera le modèle sur la limite d’équilibre de 10 % et fournira des conseils sur la santé du modèle. Dans notre cas, les tests sur les données retenues étaient cohérents avec les tests validés croisés lors de l’optimisation et la santé du modèle est bonne. Cela signifie que l’utilisateur peut avoir confiance dans les informations fournies par le modèle et le déployer en production.