Le processus de review (reviewing) est un processus qui permet d’assurer une meilleure qualité des batchs annotés. Les reviewers doivent être mieux formés aux edges-cases que les mêmes annotateurs pour reviewer efficacement. Souvent, mobiliser un annotateur plus expérimenté (ou un chef de projet local) permet d’effectuer une review plus efficace. Ces derniers comprendront mieux vos problématiques et vos besoins et seront à même d’effectuer une review plus juste des assets annotés.
La review n’est pas qu’une question de pourcentage d’assets vérifiés. Le pourcentage d’assets reviewé et le temps passé à la review devra dépendre de nombreux facteurs pour maximiser la qualité telles que :
- L’expertise actuelle des annotateurs (en fonction de leur position sur la learning curve, plus ou moins de review pourra être nécessaire).
- L’expertise des reviewers
- La clarté des instructions, moins les instructions sont claires, plus il faudra de la review pour dégager des edges-cases précis à arbitrer (ou à faire arbitrer par le client)
Il faut garder en tête qu’un pourcentage de 100% de review ne garantie pas la qualité du batch annoté.
Synonymes : QA, Quality Assurance (cf. Superannotate), vérification
Mots de la même famille : Reviewing, Reviewer.
