Le review (de l’anglais « doing the review »), ou révision, est un processus qui garantit une meilleure qualité des batchs annotés. Il y a quatre types de processus de validation qui permettent d’évaluer l’exactitude d’une donnée annotée. La review et l’absence de validation représentent les deux processus les plus communs. Voyons pourquoi !

Ce processus est généralement choisi pour son excellent rapport coûts-bénéfices. Après l’annotation initiale, la phase de review (c-à-d de révision/correction) a lieu, fournissant un retour d’information précieux à l’annotateur. Dans ce cas, chaque donnée est annotée par un seul annotateur. Lors de la review, le reviewer (ou réviseur) évalue et valide tout ou partie de l’ensemble de données préalablement annotées.

Un processus sans review est un autre processus sans validation supplémentaire de l’annotation autre que la propre évaluation de l’annotateur.

Toutefois, dans la majorité des projets, c’est un processus de vérification adaptatif qui apporte une efficacité maximale. Dès le début du projet, un processus de review solide est mis en place. Au fur et à mesure que les annotateurs améliorent leurs performances grâce au retour d’information du processus de review, la proportion de révision dans le flux de travail diminue progressivement.

Il est évident que les reviewers/réviseurs doivent suivre une formation plus approfondie sur les cas complexes et être plus expérimentés que les annotateurs. En général, un reviewer est soit un annotateur senior soit un chef de projet. Ils ont donc une meilleure compréhension de vos défis et exigences, ce qui leur permet de fournir une révision plus complète et plus perspicace.

Facteurs qui influencent la durée du review

Pour maximiser son efficacité, le pourcentage de review et le temps passé à la révision dépendent de nombreux facteurs comme :

• La complexité de la tâche : Des tâches plus complexes nécessitent une attention particulière de la part des reviewers pour que les annotateurs soient plus rapidement formés. 
• L’expertise des annotateurs : Selon la position des annotateurs sur la courbe d’apprentissage, une review plus ou moins importante est nécessaire.
• Expertise des reviewers/réviseurs.
• La clarté des instructions : Plus les instructions sont claires, moins les annotateurs sollicitent les reviewers pour arbitrer les cas particuliers à résoudre (ou à faire résoudre par le client).
• Taux d’erreur attendu par le client : Plus le taux d’erreur demandé est bas, plus la review est nécessaire.

Il convient de garder à l’esprit qu’un pourcentage de révision de 100 % ne garantit pas la qualité du lot annoté.

Synonymes : QA, Quality Assurance (cf. Superannotate), Vérifications
Mots de la même famille : Reviewing, Reviewer.