Jump to: navigation, search

Essai des modèles

Une fois que vous avez créé un modèle, vous pouvez le tester. Le processus de test commande à un modèle d’analyser un objet d’entraînement. Un instant de réflexion vous permettra de déterminer si l’objet d’entraînement :

  • Doit faire partie de la même catégorie racine que le modèle
  • Ne doit pas être celui qui a été utilisé pour créer le modèle

Programmez le test sur l’onglet Programmation de test : il vous suffit de sélectionner le modèle, l’objet de données d’entraînement sur lequel il sera testé et l’heure de début du test.

Pour afficher les résultat de test d’un modèle donné, sélectionnez le modèle, sur l’un ou l’autre des onglets Programmation de test ou Modèles, puis cliquez sur l’icône de l’œil. L’icône de l’œil pourra être activée seulement si le modèle que vous sélectionnez a déjà été testé.

Passons aux choses intéressantes... la compréhension des résultats.

Onglet Tous les résultats

Cet onglet affiche les graphiques Résultats moyens et Présent dans les meilleures catégories N ainsi que le tableau Confusion de catégorisation.

Résultats moyens

thumb|center|Précision, rappel et confiance Ce graphique illustre les évaluations (axe vertical) de la précision (noir) et du rappel (bleu) selon un niveau de confiance donné (axe horizontal). Mais que signifient ces termes? Poursuivez votre lecture pour en savoir plus :


Confiance

La confiance est un résultat numérique, de 1 à 100, qui indique le pourcentage de probabilité qu’un objet texte appartienne à une certaine catégorie, en fonction du modèle sélectionné.

(À titre de comparaison, l’exactitude est une évaluation issue de tests qui porte sur la justesse de l’attribution d’objets texte par un modèle à des catégories. En d’autres mots, la confiance exprime l’estimation d’un modèle en matière de catégorisation, et l’exactitude évalue la justesse de cette estimation.)

Précision et rappel

Pour comprendre la précision et le rappel, il faut prendre en considération plusieurs façons différentes de voir la performance d’un modèle. Si votre modèle tente d’assigner un certain nombre d’éléments à une catégorie X, vous pouvez faire les déductions suivantes :

  • a = le nombre d’éléments que le modèle assigne à X avec justesse
  • b = le nombre d’éléments que le modèle fait l’erreur d’assigner à X
  • c = le nombre d’éléments que le modèle fait l’erreur de rejeter de X (à savoir les éléments que le modèle aurait dû assigner à X, mais qui n’ont pas été attribués)

À partir de ces quantités, vous pouvez calculer les mesures de performance suivantes :

  • Précision = a /(a + b)
  • Rappel = a /(a + c)

Généralement, pour améliorer la précision, vous devez assumer les conséquences d’une diminution du taux de rappel. En d’autres mots, le modèle n’assignera un élément à une catégorie que s’il est persuadé de la justesse de cette attribution. Toutefois, en insistant sur le fait d’être persuadé de l’exactitude de l’opération, le modèle court le risque de rejeter des éléments qui appartiennent réellement à la catégorie. À la figure Précision, rappel et confiance, vous pouvez constater cet effet au-delà du niveau de confiance de 85 pour cent.

Présent dans les meilleures catégories N

thumb|center|Présent dans les meilleures catégories N

Lorsqu’un modèle classe un objet texte, il fournit une liste de catégories et la probabilité (niveau de confiance) que l’objet y appartienne. Étant donné que le modèle classe les catégories fournies avec la plus forte probabilité en premier, quelles sont les chances que la bonne catégorie apparaisse parmi les deux premières, les trois premières, etc.?

  • L’axe horizontal, Meilleures catégories N, montre les meilleures catégories (c’est-à-dire, les mieux classées) : les deux premières, trois premières, etc.
  • L’axe vertical, Comprend la bonne catégorie, correspond au pourcentage de probabilité que la bonne catégorie se trouve parmi les catégories les mieux classées suivantes.

Supposons que la catégorie obtenue dont la probabilité est la plus forte corresponde à la première estimation du modèle. Si l’on se rend jusqu’à la catégorie classée quatrième, c’est comme si l’on donnait quatre tentatives d’estimation au modèle. Plus le modèle a de tentatives, plus il est susceptible de trouver la bonne réponse. Moins le modèle a de tentatives, meilleur il sera en classification.

Le modèle présenté dans la figure est plutôt efficace : sa première estimation (à savoir la catégorie obtenue la mieux classée) se situe tout juste en-dessous de 80 pour cent du temps, et nous ne lui avons donné qu’une seule autre tentative pour atteindre près de 100 pour cent d’exactitude.

Une façon d’utiliser cette évaluation est d’aviser les agents du nombre de catégories à analyser quand vient le temps de choisir une réponse standard. S’il y a une probabilité de 95 pour cent que la bonne catégorie fasse partie des trois mieux classées, vous pouvez informer les agents de ne prendre en considération que les trois premières catégories.

Confusion de catégorisation

Le tableau Confusion de catégorisation répertorie jusqu’à 10 paires de catégories que le modèle est susceptible de confondre. thumb|center|Confusion de catégorisation

La colonne Confusion présente le pourcentage de probabilité que le modèle classe par erreur un élément de la Catégorie 1 dans la Catégorie 2. Par exemple, la figure Confusion de catégorisation montre que ce modèle classe les tigres comme étant des loups à raison de 4 pour cent du temps.

Une probabilité de 50 pour cent représenterait une confusion totale; le modèle n’est pas capable de différencier les loups des tigres. Une probabilité de 100 pour cent voudrait dire que le modèle identifie toujours les loups comme étant des tigres et les tigres comme étant des loups—une inversion totale.

Si une paire de catégories obtient une probabilité de plus de 20 pour cent et que ces deux catégories ont plus de trois ou quatre membres, vous devriez envisager de les modifier. Vous pouvez les modifier des deux façons suivantes :

  • Les fusionner, c’est-à-dire en venir à la conclusion qu’elles sont semblables au point de n’en faire qu’une seule catégorie.
  • Les différencier davantage en ajoutant plus d’interactions d’entraînement fortement contrastées dans l’objet de données d’entraînement.

Onglet Résultats par catégorie

Cet onglet affiche les mêmes évaluations que l’onglet Tous les résultats, mais pour une seule catégorie. thumb|center|Résultats par catégorie La Confusion de catégorisation montre la ou les catégories qui sont susceptibles d’être confondues avec la catégorie sélectionnée à gauche.

This page was last edited on July 26, 2017, at 19:45.

Feedback

Comment on this article:

blog comments powered by Disqus