
L’équipe R&D de Label4.aiScience14 min de lecture
Un détecteur d’anomalies a généralement une mission assez simple : repérer ce qui sort de l’ordinaire.
On lui présente un contenu (une image, un texte, un signal, une transaction, un fichier, etc.) et il produit un score indiquant à quel point ce contenu lui semble anormal.
Mais une question se pose rapidement : à partir de quel score doit-on considérer qu’il y a réellement une anomalie ?
Un score de 0,97 est-il suffisamment élevé ? Et que signifie réellement ce nombre ? Est-il comparable à un score de 0,97 produit par un autre modèle ? Que faire si l’on utilise plusieurs détecteurs en parallèle ?
Une manière élégante de répondre à ces questions consiste à calibrer le détecteur à partir d’un ensemble de contenus que l’on considère comme normaux, puis à transformer ses scores en p-valeurs.
Et lorsqu’on dispose de plusieurs tests, on peut ensuite chercher à les combiner en une seule décision statistique.
Derrière tout cela se trouve une idée assez intuitive : avant de déclarer qu’un contenu est anormal, demandons-nous à quel point son comportement serait surprenant s’il était en réalité normal.
1. Deux hypothèses : normal ou anomalie ?
Commençons par poser le problème.
Lorsqu’un détecteur examine un nouveau contenu, on peut considérer deux hypothèses :
H0, l’hypothèse nulle : le contenu est normal.
H1, l’hypothèse alternative : le contenu est une anomalie.
Le but du détecteur est donc de trouver des éléments pour rejeter H0 au profit de H1.
Cette formulation peut sembler très théorique, mais elle correspond à une question extrêmement concrète :
« Si ce contenu était parfaitement normal, serait-il étonnant d’obtenir un score aussi extrême ? »
C’est cette question qui va nous conduire à la p-valeur.
2. La p-valeur
Imaginons un détecteur de fumée.
Dans une maison normale, le détecteur produit parfois de petites alertes : de la vapeur, un peu de poussière, une variation de température… Bref, même en l’absence d’incendie, il peut arriver que son signal soit relativement élevé.
On pourrait donc faire fonctionner le détecteur dans de nombreuses situations où il n’y a pas d’incendie, et observer les scores qu’il produit.
On obtient alors une sorte de référence de ce à quoi ressemble le comportement du détecteur lorsque tout est normal.
Maintenant, imaginons qu’un nouveau signal arrive et que le détecteur produise un score extrêmement élevé.
La question devient :
« Est-ce un score que l’on rencontre souvent lorsque tout est normal, ou est-ce quelque chose de très inhabituel ? »
S’il est très courant sous H0, il n’y a pas vraiment de raison de s’alarmer.
En revanche, si un tel score est extrêmement rare parmi les situations normales, cela constitue un indice en faveur de l’hypothèse H1 : quelque chose est peut-être effectivement anormal.
La p-valeur sert à quantifier cette idée.
Une p-valeur petite signifie :
« Si le contenu était normal, obtenir un résultat aussi extrême serait très inhabituel. »
À l’inverse, une p-valeur élevée signifie simplement que le résultat observé n’est pas particulièrement surprenant dans le monde où H0 est vraie.
Attention, une p-valeur n’est pas la probabilité que le contenu soit normal.
Une p-valeur de 0,01 ne signifie pas « il y a 1 % de chances que H0 soit vraie » ou « il y a 99 % de chances que H0 soit vraie ».
Elle signifie plutôt :
« En supposant que le contenu soit normal, des résultats au moins aussi extrêmes que celui que nous observons sont très rares : ils sont observés dans seulement 1 % des cas. »
Cette nuance est fondamentale.
3. Obtenir une p-valeur dans le cas d’un classifieur
Revenons à notre détecteur d’anomalies.
Supposons qu’il produise un score compris entre 0 et 1 :
0 signifie « très normal » ;
1 signifie « très anormal ».
Ces valeurs ne sont toutefois pas nécessairement des probabilités. Un score de 0,95 ne signifie pas forcément qu’il y a 95 % de chances que le contenu soit une anomalie.
Le score est simplement une mesure fournie par le modèle, d’autant plus forte qu’il considère que quelque chose d’anormal s’est produit.
Pour lui donner une interprétation statistique, on va donc chercher à comprendre comment ce score se comporte sur des contenus normaux.
Construire une référence H0
On dispose pour cela d’un ensemble de contenus que l’on considère comme représentatifs du fonctionnement normal du système.
Par exemple :
des transactions légitimes ;
des images normales ;
des documents habituels ;
des requêtes utilisateur ordinaires ;
des mesures provenant d’un système en fonctionnement nominal.
On fait passer tous ces contenus dans le classifieur.
On observe alors la distribution (répartition) des scores obtenus.
Par exemple, on pourrait constater que la grande majorité des contenus normaux obtiennent des scores faibles, mais que quelques-uns obtiennent malgré tout des scores assez élevés.
C’est exactement ce qu’il nous faut : une photographie du comportement du détecteur lorsque H0 est vraie.
Convertir les scores en p-valeurs
Lorsqu’un nouveau contenu arrive, on regarde à quel point son score est inhabituel par rapport à la référence construite à partir des contenus normaux.
On obtient ainsi une p-valeur.
Et cette p-valeur donne quelque chose de particulièrement intéressant : un moyen de contrôler le taux de faux positifs.
Supposons par exemple que l’on décide de déclencher une alerte lorsque la p-valeur est inférieure à 1 %.
Intuitivement, cela signifie que l’on accepte un risque de 1 % de considérer comme anormal un contenu qui est en réalité normal, autrement dit, de produire une fausse alerte.
C’est une différence importante avec un simple seuil posé sur le score du classifieur. Dire « alerte si le score dépasse 0,8 » ne donne pas, à lui seul, de garantie claire sur le nombre de contenus normaux qui seront classés à tort comme anormaux.
Avec une p-valeur correctement calibrée, le seuil peut au contraire être choisi directement en fonction du niveau de faux positifs que l’on est prêt à accepter.
Mais cette interprétation repose sur une condition essentielle : l’ensemble utilisé pour la calibration doit être représentatif de H0, et les nouveaux contenus doivent appartenir au même domaine que celui sur lequel la calibration a été réalisée.
Si notre ensemble de référence ne représente pas correctement les contenus normaux que le système rencontrera en production, la p-valeur peut perdre sa signification. Un contenu parfaitement normal mais très différent de ceux utilisés pour la calibration peut alors apparaître artificiellement rare.
Autrement dit :
Une p-valeur permet de contrôler proprement le taux de faux positifs si notre modèle de ce qui est « normal » est lui-même correctement calibré.
4. Décider en contrôlant les faux positifs
Une fois le niveau de faux positifs choisi, on peut fixer un seuil sur la p-valeur.
Par exemple, un système particulièrement prudent pourra utiliser un seuil de 0,01 %, tandis qu’un système acceptant davantage de fausses alertes pourra utiliser 0,1 % ou 1 %.
Le compromis est alors explicite :
seuil très faible → peu de fausses alertes, mais davantage d’anomalies risquent de passer inaperçues ;
seuil plus élevé → davantage de détections, mais aussi davantage de faux positifs.
La p-valeur permet donc de relier directement le fonctionnement statistique du détecteur à une notion opérationnelle : combien de fausses alertes sommes-nous prêts à accepter ?
Si plusieurs tests sont réalisés, on ne peut toutefois pas simplement appliquer ce même seuil à chacun et considérer que le taux global de faux positifs reste inchangé.
Si l’on réalise beaucoup de tests, même avec un seuil individuel très faible, on augmente mécaniquement les occasions d’obtenir une petite p-valeur simplement par hasard.
Il faut donc tenir compte du caractère multiple de la procédure.
C’est ici qu’interviennent les méthodes d’agrégation ou de correction des p-valeurs, comme celle de Bonferroni.
Elles permettent de conserver un contrôle explicite du risque de fausses alertes au niveau de l’ensemble des tests, plutôt que de considérer chaque test isolément.
Et c’est à ce moment que la question de la dépendance entre les tests devient particulièrement importante : plusieurs détecteurs fortement corrélés ne constituent pas nécessairement plusieurs éléments de preuve indépendants.
Le taux de faux positifs est une propriété du système complet
Il est utile de retenir que le taux de faux positifs n’est pas une propriété abstraite de la p-valeur seule.
Il dépend de toute la chaîne :
ensemble de calibration → définition de H0 → calibration du détecteur → calcul de la p-valeur → seuil de décision → éventuellement agrégation de plusieurs tests.
Si la calibration est réalisée sur des contenus réellement représentatifs du domaine normal, et que les contenus auxquels on applique ensuite le test appartiennent au même domaine, alors le seuil choisi sur la p-valeur peut être interprété en termes de taux de faux positifs.
À l’inverse, si le monde réel change, changement de population, de source de données, de contexte, de comportement des utilisateurs, etc., le taux de faux positifs réellement observé peut s’écarter de celui attendu.
C’est pourquoi la représentativité de H0 est au moins aussi importante que le choix de la méthode statistique.
La statistique permet de contrôler le risque ; elle ne peut pas corriger une mauvaise définition de ce qui est « normal ».
5. Combiner plusieurs détecteurs
Imaginons que l’on ne dispose pas d’un seul détecteur, mais de plusieurs.
Par exemple, un système pourrait utiliser :
un modèle spécialisé dans les anomalies visuelles ;
un autre spécialisé dans les anomalies textuelles ;
un troisième spécialisé dans les comportements inhabituels.
Pour un même contenu, chacun produit son propre score, puis sa propre p-valeur.
On obtient par exemple :
détecteur A : p = 0,02 ;
détecteur B : p = 0,15 ;
détecteur C : p = 0,004.
Que doit-on faire de ces trois valeurs ?
On pourrait être tenté de dire :
« Une des p-valeurs est très faible, donc le contenu est anormal. »
Mais cette approche devient problématique dès que le nombre de tests augmente.
Le piège des tests multiples
Imaginons, pour simplifier, que tous nos détecteurs soient parfaitement bien calibrés et qu’il n’y ait aucune anomalie.
On effectue pourtant des dizaines, des centaines, voire des milliers de tests.
Même si chaque test individuel est correctement calibré, certains vont occasionnellement produire une p-valeur très faible simplement par hasard.
C’est un phénomène tout à fait normal.
Plus on lance de tests, plus on a de chances de tomber sur un résultat qui paraît exceptionnel alors qu’il ne l’est pas réellement.
C’est un peu comme lancer une pièce de monnaie suffisamment souvent : une longue série de piles finira bien par apparaître, sans qu’il y ait quoi que ce soit de mystérieux.
On rencontre ici le problème des tests multiples.
Et c’est pour cela qu’on ne peut pas simplement prendre la plus petite p-valeur parmi une grande collection et la traiter comme si elle provenait d’un unique test.
Bonferroni : être prudent lorsqu’on combine plusieurs tests
Une première solution classique est la correction de Bonferroni.
L’idée est extrêmement simple :
Plus on réalise de tests, plus on durcit le seuil nécessaire pour déclarer un résultat significatif.
Si l’on effectue beaucoup de tests, on accepte donc moins facilement qu’une petite p-valeur soit le fruit du hasard.
Dans sa forme la plus simple, la correction consiste à ajuster le niveau de décision en fonction du nombre de tests réalisés.
Pas besoin de retenir la formule pour comprendre l’idée :
« Si je donne davantage de chances au hasard de me produire un résultat spectaculaire, je dois être plus exigeant avant de crier à l’anomalie. »
C’est une approche volontairement conservatrice.
Et c’est ce qui fait sa force : elle reste valide même lorsque les différents tests ne sont pas indépendants.
6. L’indépendance : une notion fondamentale
La question de l’indépendance est en réalité présente à plusieurs endroits de cette histoire.
Prenons deux détecteurs qui analysent le même contenu.
S’ils utilisent exactement les mêmes informations et réagissent presque toujours de la même manière, leurs résultats sont fortement dépendants.
Si le premier détecteur produit une p-valeur extrêmement faible, il n’est donc pas très surprenant que le second fasse de même.
À l’inverse, deux détecteurs construits à partir de sources d’information complètement différentes peuvent produire des résultats beaucoup plus indépendants.
Cette distinction est importante lorsqu’on cherche à combiner les p-valeurs.
En effet, plusieurs petits signaux indépendants peuvent constituer une preuve collective beaucoup plus intéressante qu’un seul signal.
Mais si les signaux sont fortement corrélés, les compter comme plusieurs preuves indépendantes peut donner une impression artificiellement forte de certitude.
Imaginons que cinq détecteurs soient en réalité cinq variantes très proches du même modèle.
Obtenir cinq petites p-valeurs ne signifie pas nécessairement que nous avons obtenu cinq éléments de preuve indépendants.
Nous avons peut-être simplement observé cinq fois le même phénomène.
Bonferroni et dépendance
L’un des intérêts majeurs de la méthode de Bonferroni est que la correction ne nécessite pas de supposer que les tests sont indépendants.
Autrement dit, elle reste une approche prudente lorsque les détecteurs sont corrélés.
C’est particulièrement intéressant dans les systèmes modernes où plusieurs modèles peuvent partager :
les mêmes données d’entrée ;
des architectures similaires ;
des représentations communes ;
des caractéristiques corrélées ;
ou tout simplement une partie du même signal.
En contrepartie, Bonferroni peut être très conservateur.
Si l’on combine un très grand nombre de tests, le seuil devient rapidement difficile à atteindre.
On protège alors efficacement contre les faux positifs, mais au prix potentiel de manquer certaines anomalies réelles.
Il existe donc une tension classique :
Plus on veut être sûr de ne pas déclencher à tort, plus on risque de devenir prudent et de laisser passer certaines anomalies.
Combiner les p-valeurs
Bonferroni n’est d’ailleurs pas la seule manière de combiner plusieurs tests.
On peut aussi chercher à construire une p-valeur globale à partir de toutes les p-valeurs individuelles.
L’objectif est alors de répondre à une question légèrement différente :
« Pris dans leur ensemble, les différents détecteurs apportent-ils suffisamment d’éléments pour considérer le contenu comme inhabituel ? »
Plusieurs méthodes existent pour cela, avec des propriétés différentes selon les hypothèses que l’on peut raisonnablement faire sur les tests.
Certaines méthodes, comme par exemple la méthode de Fisher, fonctionnent particulièrement bien lorsque les tests sont indépendants ou approximativement indépendants.
D’autres ont été conçues pour rester valides lorsque les tests sont dépendants, parfois au prix d’une certaine perte de puissance.
Le choix de la méthode n’est donc pas seulement une question de préférence statistique.
Il dépend de ce que l’on sait, ou ne sait pas, sur les relations entre les différents détecteurs.
La dépendance entre les données de calibration
Il existe également une deuxième forme de dépendance, souvent moins visible.
Nous avons parlé jusqu’ici de la dépendance entre les différents tests.
Mais il faut également réfléchir à la dépendance entre les contenus utilisés pour calibrer le détecteur.
Imaginons que notre ensemble de référence contienne 10 000 images, mais que ces images soient en réalité constituées de 10 000 images provenant de seulement quelques vidéos très similaires.
Avons-nous vraiment 10 000 observations indépendantes ?
Pas nécessairement.
De la même manière, 100 000 transactions provenant du même utilisateur ou du même épisode opérationnel peuvent contenir beaucoup moins d’information indépendante qu’on pourrait le croire.
Cela peut donner une fausse impression de précision dans notre estimation de ce qui est « normal ».
La question de la dépendance doit donc être posée à plusieurs niveaux :
Les contenus de référence sont-ils suffisamment représentatifs ?
Les observations de référence sont-elles réellement indépendantes ?
Les différents détecteurs produisent-ils des informations indépendantes ?
La méthode de combinaison utilisée tient-elle compte de cette dépendance ?
7. La chaîne complète du contenu à la décision
On peut maintenant résumer toute la démarche.
Étape 1 : définir H0
On commence par définir ce que signifie « normal » pour le système.
C’est notre hypothèse nulle H0.
Étape 2 : construire une référence
On rassemble un ensemble suffisamment représentatif de contenus correspondant à H0.
Étape 3 : observer le comportement du détecteur
On fait passer ces contenus dans le classifieur et on observe la distribution de ses scores.
Étape 4 : convertir les scores en p-valeurs
Lorsqu’un nouveau contenu arrive, on regarde à quel point son score est inhabituel par rapport à cette référence et on obtient une p-valeur.
Étape 5 : décider
Une p-valeur suffisamment faible peut conduire à rejeter H0 et à considérer le contenu comme potentiellement anormal.
Étape 6 : combiner plusieurs détecteurs
Si plusieurs tests sont réalisés, on ne traite pas naïvement leurs p-valeurs comme si elles provenaient toujours d’expériences indépendantes.
On choisit une méthode d’agrégation adaptée, comme Bonferroni ou d’autres méthodes de combinaison.
La vraie question n’est finalement pas « quelle est la p-valeur ? »
Il est tentant de réduire toute cette démarche à une recette :
score → p-valeur → seuil → anomalie.
Mais ce serait passer à côté de l’essentiel.
La p-valeur n’est pertinente que parce qu’elle est construite par rapport à une hypothèse nulle et à une référence de ce que l’on considère comme normal.
Si cette référence est mauvaise, la p-valeur peut être parfaitement calculée et pourtant ne rien vouloir dire.
De même, lorsqu’on combine plusieurs tests, la question de leur dépendance devient essentielle.
Deux p-valeurs provenant de deux tests très corrélés ne représentent pas nécessairement deux éléments de preuve distincts.
C’est peut-être le point le plus important à retenir :
La statistique ne transforme pas automatiquement un score de machine learning en vérité. Elle permet surtout de replacer ce score dans un cadre de référence explicite.
Conclusion
Calibrer un classifieur d’anomalies avec des p-valeurs revient finalement à lui poser une question très humaine :
« Si tout était normal, à quel point serais-je surpris de voir ce résultat ? »
Pour répondre, on observe le comportement du détecteur sur un ensemble représentatif de contenus normaux.
Un résultat très rare sous cette hypothèse produit une petite p-valeur et constitue donc un indice en faveur d’une anomalie.
Lorsque plusieurs détecteurs ou plusieurs tests sont utilisés, une nouvelle difficulté apparaît : leurs résultats peuvent être dépendants. Les traiter comme des preuves indépendantes peut conduire à surestimer la force du signal.
Des méthodes comme Bonferroni permettent alors de contrôler le risque de fausses alertes sans avoir besoin de supposer que les tests sont indépendants, même si cette prudence peut rendre la détection moins sensible.
Au fond, tout le problème peut être vu comme une succession de questions :
Qu’est-ce que « normal » ? → Comment mon détecteur se comporte-t-il lorsque c’est normal ? → À quel point mon nouveau résultat est-il inhabituel ? → Et si plusieurs détecteurs parlent en même temps, combien de preuves ai-je réellement ?
C’est cette dernière question, combien d’information indépendante avons-nous réellement ?, qui fait de la dépendance un élément central dès que l’on commence à agréger plusieurs p-valeurs.
Une question sur votre propre cas ? Parlons-en.