Pierre T.
PERFORMANCE DU MODÈLE ET AJUSTEMENT DES HYPERPARAMÈTRES DE FINE TUNING
Dans la première partie de cet article, nous avons vu comment créer un modèle fonctionnel en seulement six lignes de code. Cependant, pouvons-nous réellement faire confiance à ce modèle ? Quelle est sa qualité et pouvons-nous l’améliorer davantage ?
Dans cette section, nous allons évaluer les performances du modèle et ajouter des événements spéciaux/holidays ainsi que de raffiner ses hyperparamètres pour le rendre plus précis et fiable.
EVALUATION DES PERFORMANCES DU MODÈLE
Afin d’évaluer les performances de notre modèle, nous pouvons soit attendre que des valeurs futures se produisent et les comparer à ce que le modèle avait prédit, ou alors, nous pouvons utiliser une approche très courante de validation du modèle qui consiste à diviser nos données historiques en deux ensembles distincts :
– Un ensemble d’apprentissage utilisé pour ajuster le modèle
– Un ensemble de test sur lequel le modèle sera évalué
Pour ce faire, nous allons définir le mois de novembre et décembre 2023 comme données de test et entraîner le modèle sur les autres mois dans les données (ensemble d’apprentissage).
Ensuite, nous allons évaluer les performances du modèle en utilisant les métriques suivantes :
– Erreur absolue moyenne (MAE)
– Erreur moyenne au carré (MSE)
– Coefficient de détermination (R2-score)
Pour le modèle de base, nous avons obtenu :
– MAE : 123 $
– R2-score : 0,52
– MSE : indéterminé
HOLIDAYS ET ÉVÉNEMENTS SPÉCIAUX
Selon l’entreprise, les jours fériés et les événements spéciaux pourraient avoir un impact sur les ventes. Par conséquent, il pourrait être pertinent d’inclure ces informations dans notre modèle. Pour cela, nous allons ajouter le « Black Friday » et la « veille de Noël ».
De plus, nous allons ajouter les jours fériés américains dans ce modèle.
En incluant les jours fériés dans notre modèle, nous avons constaté une amélioration significative des performances du modèle. Le R2-score est passé de 0,52 à 0,69 et le MAE a diminué de 123 $ à 109 $.
AJUSTEMENT DES HYPERPARAMÈTRES
Il y a cinq hyperparamètres importants dans le modèle Prophet, qui peuvent avoir une influence significative sur la sortie du modèle, à savoir :
– changepoint_prior_scale
– seasonality_prior_scale
– holidays_prior_scale
– seasonality_mode
– changepoint_range
Pour trouver les valeurs optimales de ces hyperparamètres, nous avons utilisé la technique de Grid Search, qui consiste en un processus itératif pour trouver les valeurs optimales de chaque hyperparamètre en ajustant le modèle pour chaque combinaison.
En utilisant cette technique pour notre modèle, nous avons trouvé les valeurs optimales qui réduisent le MAE et qui maximisent le R2-score.
