L’annotation par consensus est un processus visant à garantir une meilleure qualité des lots annotés. Dans le contexte des processus de validation, le consensus consiste en l’un des quatre types de processus permettant d’évaluer l’exactitude d’une donnée annotée.
Ce processus consiste à annoter plusieurs fois le même élément de données et à ne valider les données que si tous les annotateurs sont d’accord sur l’annotation. En d’autres termes, les données ne seront utilisées que si tous les annotateurs sont d’accord sur l’annotation des données.
Dans ce cas, au moins deux de nos annotateurs annotent chaque donnée. En cas de désaccord, il est nécessaire de faire de la review sur ces données.
Les quatre types de processus de validation permettant d’évaluer l’exactitude d’une donnée annotée et, par conséquent, de mesurer la qualité de l’annotation sont les suivants : sans validation, avec review, vote par consensus et honeypot.
Vous souhaitez mieux comprendre comment évaluer la qualité d’un projet d’annotation de données ? Consultez notre article !
Synonymes: Vote par consensus
