"When the Facts Change, I Change My Mind. What Do You Do, Sir?" disait JM Keynes. 

L’économiste soulignait alors l’importance de réajuster ses a priori et sa représentation du monde lorsqu'on on est confronté à de nouveaux éléments.

C’est la même chose lorsqu’on entraîne un modèle de machine learning et qu’on le déploie.

Les données que l’on va rencontrer en production suivent-elles une distribution similaire aux données sur lesquelles on a entraîné le modèle? Si non, comment peut-on ajuster le tir?

Témoignage et retour d’expérience avec Hamza Sayah, Data Scientist @ Ponicode.

Références et concepts mentionnés


- Kullback-Leibler divergence, en un mot: une quantité qui mesure la dissimilarité de deux distributions de probabilités.


Pour une excellente vidéo donnant l’intuition derrière le lien entre l'entropie, l’entropie croisée et la KL divergence,  se référer à la vidéo d'Aurélien Géron "A Short Introduction to Entropy, Cross-Entropy and KL-Divergence" 

https://www.youtube.com/watch?v=ErfnhcEV1O8

- Pour l'intuition derrière le concept d'embedding, voir le blog post de Jay Alammar, "The Illustrated Word2Vec", https://jalammar.github.io/illustrated-word2vec/


- AST - Abstract Syntax Tree, https://en.wikipedia.org/wiki/Abstract_syntax_tree


- La recommandation de Hamza: le livre "La Formule Du Savoir", de Lê Nguyên Hoang